CN110347515B - 一种适合边缘计算环境的资源优化分配方法 - Google Patents

一种适合边缘计算环境的资源优化分配方法 Download PDF

Info

Publication number
CN110347515B
CN110347515B CN201910645803.5A CN201910645803A CN110347515B CN 110347515 B CN110347515 B CN 110347515B CN 201910645803 A CN201910645803 A CN 201910645803A CN 110347515 B CN110347515 B CN 110347515B
Authority
CN
China
Prior art keywords
processing node
resource
task
dimension
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910645803.5A
Other languages
English (en)
Other versions
CN110347515A (zh
Inventor
李琪林
程志炯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Sichuan Electric Power Co Ltd
Priority to CN201910645803.5A priority Critical patent/CN110347515B/zh
Publication of CN110347515A publication Critical patent/CN110347515A/zh
Application granted granted Critical
Publication of CN110347515B publication Critical patent/CN110347515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • G06F9/5088Techniques for rebalancing the load in a distributed system involving task migration

Abstract

本发明公开了一种适合边缘计算环境的资源优化分配方法,包括:获取每个处理节点当前的资源利用率;获取处理节点集合中每个处理节点的当前剩余资源量;从处理节点集合中选取当前剩余资源量总和最大的处理节点,并将该处理节点置为处理节点o;从剩余任务集合中选择任务k加入处理节点o,并重新计算该处理节点o在加入任务k后的资源均衡度Pok,基于资源均衡度进行资源优化分配。本发明在充分考虑各个边缘计算设备或处理节点资源负载约束条件的前提下,从请求任务中选取合适的任务分配到合适的边缘计算设备或节点上,从而使系统资源利用率最高,系统整体性能达到最优。

Description

一种适合边缘计算环境的资源优化分配方法
技术领域
本发明涉及边缘计算技术领域,具体涉及一种适合边缘计算环境的资源优化分配方法。
背景技术
随着泛在电力物联网概念的提出和不断深入,现有的云计算相关技术已难以高效地处理网络边缘设备所产生的海量数据。泛在电力物联网应用需求的发展客观上推动了边缘计算模式的快速发展,使其能在网络边缘设备上增加任务执行和数据分析能力,将原有云计算模型的部分或全部计算任务迁移到网络边缘设备上,从而降低云计算中心的计算负载,减缓网络带宽的压力,提高了数据的处理效率。在边缘计算环境中,云计算中心往往需要考虑资源的优化分配和合理调度问题,即在满足各个边缘计算设备或处理节点资源负载约束条件的前提下,从请求任务中选取合适的任务分配到合适的边缘计算设备或节点上,从而使系统资源利用率最高,系统整体性能达到最优。然而,这显然是一个NP难题,在实际应用中不可能找到一个多项式时间最优的合理方法,因此,只能退而寻求有效的次最优算法。然而,现有的许多启发式算法,如LPT算法、MULTIFIT算法、LPT算法结合MULTIFIT算法及BoundFit算法大都对系统进行了简化,仅集中于某一类资源,其最优分配方法并没有使系统整体达到最优,故难以适应和满足边缘计算环境资源合理调度和优化分配的要求。因此,如何探求一种适合边缘计算环境的资源调度和优化分配方法,在满足最优分配情况下,使系统整体性能达到最优,无疑对于边缘计算的相关应用具有极其重要的意义。
发明内容
针对上述现有技术存在的技术问题,本发明提供了一种适合边缘计算环境的资源优化分配方法。本发明通过云计算中心尽可能多地接收请求任务,并在任务集合中选取合适的任务,将这些任务均衡地分配到系统中的边缘计算设备或处理节点上;使每个处理节点负载均衡,且每个处理节点上的剩余资源最少,从而使得系统资源利用率最高,提升系统整体性能。
本发明通过下述技术方案实现:
一种适合边缘计算环境的资源优化分配方法,该方法包括:
步骤S1,获取每个处理节点当前的资源利用率;
步骤S2,获取处理节点集合中每个处理节点的当前剩余资源量;
步骤S3,从处理节点集合中选取当前剩余资源量总和最大的处理节点,并将该处理节点置为处理节点o;
步骤S4,从剩余任务集合中选择任务k加入处理节点o,并计算该处理节点o在加入任务k后的资源均衡度Pok,k∈{1,2,…,n},在所有Pok中选取Pok最小对应的任务;
步骤S5,如果没有Pok,表示所有任务都不能再分配到该处理节点o上,将该处理节点o从处理节点集合中去掉;否则,将Pok最小对应的任务分配到该处理节点o上,并从剩余任务集合中去掉该任务;
步骤S6,判断处理节点集合或者剩余任务集合是否为空,如果是则输出每个处理节点的分配任务、分配资源、剩余资源和资源利用率;否则重复执行步骤S1-步骤S5。
优选的,所述步骤S2具体通过下式计算得到每个处理节点的当前剩余资源量:
Figure BDA0002133545000000021
其中,
Figure BDA0002133545000000022
表示第i个处理节点第j维当前剩余资源量,rij表示第i个处理节点的第j维资源量,r′ij表示第i个处理节点已经分配到第j维资源量,i∈{1,2,…,c},j∈{1,2,…,m}。
优选的,所述步骤S4中资源均衡度通过下式计算得到:
Figure BDA0002133545000000023
其中,pr表示第i个处理节点的资源均衡度,pj表示第j维资源与自身总资源的比值,p′j表示第j维已经分配资源与已经分配总资源的比值,j∈{1,2,…,m}。
优选的,通过下式计算得到pj和p′j
Figure BDA0002133545000000024
Figure BDA0002133545000000025
其中,rij表示第i个处理节点的第j维资源量,r′ij表示第i个处理节点已经分配到第j维资源量。
优选的,所述步骤S1具体包括获取每个处理节点每维资源在自身总资源量的比值和每个处理节点每维已经分配资源与此节点已经分配总资源量的比值。
Figure BDA0002133545000000026
优选的,所述每个处理节点每维资源在自身总资源量的比值Cij通过下式获得:
Figure BDA0002133545000000027
其中,rij表示第i个处理节点的第j维资源量。
优选的,所述每个处理节点每维已经分配资源与此节点已经分配总资源量的比值C′ij通过下式获得:
Figure BDA0002133545000000031
其中,r′ij表示第i个处理节点已经分配到第j维资源量。
本发明具有如下的优点和有益效果:
针对边缘计算环境中资源的优化分配和合理调度这一问题,本发明提出了一种适合边缘计算环境的资源优化分配方法。该方法在充分考虑各个边缘计算设备或处理节点资源负载约束条件的前提下,从请求任务中选取合适的任务分配到合适的边缘计算设备或节点上,从而使系统资源利用率最高,系统整体性能达到最优。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明的方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例
为了实现系统资源利用率最大化,通过云计算中心尽可能多地接收请求任务,并在任务集合中选取合适的任务,将这些任务均衡地分配到系统中的边缘计算设备或处理节点上;使每个处理节点负载均衡,且每个处理节点上的剩余资源最少。其实现原理如下:
已知c个任务处理节点,每个处理节点有系统资源R(r1,r2,…,rm):共m维资源,请求执行的任务集合{T1,T2,…,Tn}:共n个请求,且每个任务需要资源为ri={ri,1,ri,2,…,ri,m},i∈{1,2,…,n},那么怎样从n个请求的任务集合{T1,T2,…,Tn}中选取c个互不相交的子集{s1,s2,…,sc},并将他们分配到c个任务处理节点上,使每个处理节点的剩余资源
Figure BDA0002133545000000032
最小,且各个节点分配的任务总和最多。
本实施例基于上述基本思想,提出了一种适合边缘计算环境的资源优化分配方法,如图1所示,该方法包括以下步骤:
步骤1:获取处理节点集合中每个处理节点的资源利用率。
本实施例中,步骤1具体包括:
(1)计算每个处理节点每维资源在自身总资源中的比值Cij
Figure BDA0002133545000000041
其中,rij表示第i个处理节点的第j维资源量。
(2)计算每个处理节点每维已经分配资源与此节点已经分配总资源量的比值C′ij
Figure BDA0002133545000000042
其中,r′ij表示第i个处理节点已经分配到第j维资源量。
步骤2:计算处理节点集合中每个处理节点的当前剩余资源量,当前剩余资源量通过下式计算:
Figure BDA0002133545000000043
其中,
Figure BDA0002133545000000044
表示第i个处理节点的第j维剩余资源量。
步骤3:从处理节点集合中选取剩余资源量总和最大的处理节点,且设该选取的处理节点为处理节点o;
步骤4:从剩余任务集合中选择第k个任务能放入o节点,重新计算o节点在加入任务k后的资源均衡度Pok,k∈{1,2,…,n},然后在所有Pok中选取Pok最小对应的任务;
本实施例中,资源均衡度是衡量系统资源是否被均衡使用的指标,定义如下:设第i个处理节点第j维资源是rij,那么此处理节点的总资源为:∑rij,j∈{1,2,…,m}。每维资源与总资源的比值为:
Figure BDA0002133545000000045
同理,设第i个处理节点已经分配到第j维资源是r′ij,每维已经分配资源与总已经分配资源的比值为:
Figure BDA0002133545000000046
则资源均衡度pr为:
Figure BDA0002133545000000051
步骤5:如果没有选取到满足条件的Pok,表示所有任务都不能再分配到o处理节点上,那么就从处理节点集合中去掉o节点(即更新处理节点集合);否则,将此任务分配到o节点,并从任务集合中去掉该任务(即更新任务集合)。
步骤6:判断更新后的处理节点集合或任务集合是否为空,若有一个为空,则转入步骤7;否则,返回到步骤1;
步骤7:方法执行结束,并输出每个处理节点(系统中所有处理节点)的分配任务、分配资源、剩余资源和资源利用率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种适合边缘计算环境的资源优化分配方法,其特征在于,该方法包括:
步骤S1,获取每个处理节点当前的资源利用率;
步骤S2,获取处理节点集合中每个处理节点的当前剩余资源量;
步骤S3,从处理节点集合中选取当前剩余资源量总和最大的处理节点,并将该处理节点置为处理节点o;
步骤S4,从剩余任务集合中选择任务k加入处理节点o,并计算该处理节点o在加入任务k后的资源均衡度Pok,k∈{1,2,…,n},在所有Pok中选取Pok最小对应的任务;n表示任务请求数;
所述步骤S4中资源均衡度是衡量系统资源是否被均衡使用的指标,通过下式计算得到:
Figure FDA0003130553140000011
其中,pr表示第i个处理节点的资源均衡度,pj表示第j维资源与自身总资源的比值,p′j表示第j维已经分配资源与已经分配总资源的比值,j∈{1,2,…,m},m表示系统资源维数;
步骤S5,如果没有选取到满足条件的Pok,表示所有任务都不能再分配到该处理节点o上,将该处理节点o从处理节点集合中去掉;否则,将Pok最小对应的任务分配到该处理节点o上,并从剩余任务集合中去掉该任务;
步骤S6,判断处理节点集合或者剩余任务集合是否为空,如果是则输出每个处理节点的分配任务、分配资源、剩余资源和资源利用率;否则重复执行步骤S1-步骤S5。
2.根据权利要求1所述的一种适合边缘计算环境的资源优化分配方法,其特征在于,所述步骤S2具体通过下式计算得到每个处理节点的当前剩余资源量:
Figure FDA0003130553140000012
其中,
Figure FDA0003130553140000013
表示第i个处理节点第j维当前剩余资源量,rij表示第i个处理节点的第j维资源量,r′ij表示第i个处理节点已经分配到第j维资源量,i∈{1,2,…,c},j∈{1,2,…,m},c表示任务处理节点数。
3.根据权利要求1所述的一种适合边缘计算环境的资源优化分配方法,其特征在于,通过下式计算得到pj和p′j
Figure FDA0003130553140000014
Figure FDA0003130553140000015
其中,rij表示第i个处理节点的第j维资源量,r′ij表示第i个处理节点已经分配到第j维资源量。
4.根据权利要求1-3任一项所述的一种适合边缘计算环境的资源优化分配方法,其特征在于,所述步骤S1具体包括获取每个处理节点每维资源在自身总资源量的比值和每个处理节点每维已经分配资源与此节点已经分配总资源量的比值。
Figure FDA0003130553140000021
5.根据权利要求4所述的一种适合边缘计算环境的资源优化分配方法,其特征在于,所述每个处理节点每维资源在自身总资源量的比值Cij通过下式获得:
Figure FDA0003130553140000022
其中,rij表示第i个处理节点的第j维资源量。
6.根据权利要求4所述的一种适合边缘计算环境的资源优化分配方法,其特征在于,所述每个处理节点每维已经分配资源与此节点已经分配总资源量的比值C′ij通过下式获得:
Figure FDA0003130553140000023
其中,r′ij表示第i个处理节点已经分配到第j维资源量,c表示任务处理节点数。
CN201910645803.5A 2019-07-17 2019-07-17 一种适合边缘计算环境的资源优化分配方法 Active CN110347515B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910645803.5A CN110347515B (zh) 2019-07-17 2019-07-17 一种适合边缘计算环境的资源优化分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910645803.5A CN110347515B (zh) 2019-07-17 2019-07-17 一种适合边缘计算环境的资源优化分配方法

Publications (2)

Publication Number Publication Date
CN110347515A CN110347515A (zh) 2019-10-18
CN110347515B true CN110347515B (zh) 2021-08-03

Family

ID=68176642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910645803.5A Active CN110347515B (zh) 2019-07-17 2019-07-17 一种适合边缘计算环境的资源优化分配方法

Country Status (1)

Country Link
CN (1) CN110347515B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858051B (zh) * 2020-07-20 2023-09-05 国网四川省电力公司电力科学研究院 一种适合边缘计算环境的实时动态调度方法、系统和介质
CN112433846B (zh) * 2020-11-05 2022-10-21 德州职业技术学院(德州市技师学院) 一种边缘计算的资源调度方法和系统
CN113079389B (zh) * 2021-03-23 2022-01-25 国网江苏省电力有限公司信息通信分公司 一种边缘计算环境下的资源自适应调节方法
CN113742059B (zh) * 2021-07-15 2024-03-29 上海朋熙半导体有限公司 任务分配方法、装置、计算机设备和存储介质
CN114138453B (zh) * 2021-10-18 2022-10-28 中标慧安信息技术股份有限公司 一种适合边缘计算环境的资源优化分配方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699448A (zh) * 2014-01-14 2014-04-02 浪潮(北京)电子信息产业有限公司 一种云计算环境下基于时间期限和预算的调度方法
CN105656973A (zh) * 2014-11-25 2016-06-08 中国科学院声学研究所 一种分布式节点组内任务调度方法及系统
CN107193658A (zh) * 2017-05-25 2017-09-22 重庆工程学院 基于博弈论的云计算资源调度方法
CN109656702A (zh) * 2018-12-20 2019-04-19 西安电子科技大学 一种基于强化学习的跨数据中心网络任务调度方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590984B2 (en) * 2003-05-29 2009-09-15 International Business Machines Corporation System and method for balancing a computing load among computing resources in a distributed computing problem
US8151272B2 (en) * 2008-04-07 2012-04-03 At&T Intellectual Property I, Lp Optimized usage of collector resources for performance data collection through even task assignment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699448A (zh) * 2014-01-14 2014-04-02 浪潮(北京)电子信息产业有限公司 一种云计算环境下基于时间期限和预算的调度方法
CN105656973A (zh) * 2014-11-25 2016-06-08 中国科学院声学研究所 一种分布式节点组内任务调度方法及系统
CN107193658A (zh) * 2017-05-25 2017-09-22 重庆工程学院 基于博弈论的云计算资源调度方法
CN109656702A (zh) * 2018-12-20 2019-04-19 西安电子科技大学 一种基于强化学习的跨数据中心网络任务调度方法

Also Published As

Publication number Publication date
CN110347515A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN110347515B (zh) 一种适合边缘计算环境的资源优化分配方法
CN111427681B (zh) 边缘计算中基于资源监控的实时任务匹配调度系统和方法
CN110168516B (zh) 用于大规模并行处理的动态计算节点分组方法及系统
US10831562B2 (en) Method and system for operating a data center by reducing an amount of data to be processed
US10474504B2 (en) Distributed node intra-group task scheduling method and system
CN107659433B (zh) 一种云资源调度方法及设备
US9201690B2 (en) Resource aware scheduling in a distributed computing environment
KR101885688B1 (ko) 낮은 지연속도 데이터 액세스를 위한 데이터 스트림의 분할
CN109710406B (zh) 数据分配及其模型训练方法、装置、及计算集群
Li et al. An effective scheduling strategy based on hypergraph partition in geographically distributed datacenters
CN110569252B (zh) 一种数据处理系统及方法
CN108270805B (zh) 用于数据处理的资源分配方法及装置
Mahato et al. On scheduling transactions in a grid processing system considering load through ant colony optimization
CN105471985A (zh) 负载均衡方法及云平台计算方法、云平台
CN107861796A (zh) 一种支持云数据中心能耗优化的虚拟机调度方法
US9898061B2 (en) Resource capacity management in a cluster of host computers using power management analysis
CN108427602B (zh) 一种分布式计算任务的协同调度方法及装置
CN115134371A (zh) 包含边缘网络算力资源的调度方法、系统、设备及介质
CN114327811A (zh) 一种任务调度方法、装置、设备及可读存储介质
CN112437449B (zh) 联合资源分配方法
CN112286623B (zh) 一种信息处理方法及装置、存储介质
CN112506650A (zh) 资源分配方法、系统、计算机设备和存储介质
CN106844037B (zh) 一种基于knl的测试方法及系统
CN115801896A (zh) 算力网络节点分配方法、装置、电子设备及存储介质
Ismaeel et al. A systematic cloud workload clustering technique in large scale data centers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant