CN110347515B - 一种适合边缘计算环境的资源优化分配方法 - Google Patents
一种适合边缘计算环境的资源优化分配方法 Download PDFInfo
- Publication number
- CN110347515B CN110347515B CN201910645803.5A CN201910645803A CN110347515B CN 110347515 B CN110347515 B CN 110347515B CN 201910645803 A CN201910645803 A CN 201910645803A CN 110347515 B CN110347515 B CN 110347515B
- Authority
- CN
- China
- Prior art keywords
- processing node
- resource
- task
- dimension
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
Abstract
本发明公开了一种适合边缘计算环境的资源优化分配方法,包括:获取每个处理节点当前的资源利用率;获取处理节点集合中每个处理节点的当前剩余资源量;从处理节点集合中选取当前剩余资源量总和最大的处理节点,并将该处理节点置为处理节点o;从剩余任务集合中选择任务k加入处理节点o,并重新计算该处理节点o在加入任务k后的资源均衡度Pok,基于资源均衡度进行资源优化分配。本发明在充分考虑各个边缘计算设备或处理节点资源负载约束条件的前提下,从请求任务中选取合适的任务分配到合适的边缘计算设备或节点上,从而使系统资源利用率最高,系统整体性能达到最优。
Description
技术领域
本发明涉及边缘计算技术领域,具体涉及一种适合边缘计算环境的资源优化分配方法。
背景技术
随着泛在电力物联网概念的提出和不断深入,现有的云计算相关技术已难以高效地处理网络边缘设备所产生的海量数据。泛在电力物联网应用需求的发展客观上推动了边缘计算模式的快速发展,使其能在网络边缘设备上增加任务执行和数据分析能力,将原有云计算模型的部分或全部计算任务迁移到网络边缘设备上,从而降低云计算中心的计算负载,减缓网络带宽的压力,提高了数据的处理效率。在边缘计算环境中,云计算中心往往需要考虑资源的优化分配和合理调度问题,即在满足各个边缘计算设备或处理节点资源负载约束条件的前提下,从请求任务中选取合适的任务分配到合适的边缘计算设备或节点上,从而使系统资源利用率最高,系统整体性能达到最优。然而,这显然是一个NP难题,在实际应用中不可能找到一个多项式时间最优的合理方法,因此,只能退而寻求有效的次最优算法。然而,现有的许多启发式算法,如LPT算法、MULTIFIT算法、LPT算法结合MULTIFIT算法及BoundFit算法大都对系统进行了简化,仅集中于某一类资源,其最优分配方法并没有使系统整体达到最优,故难以适应和满足边缘计算环境资源合理调度和优化分配的要求。因此,如何探求一种适合边缘计算环境的资源调度和优化分配方法,在满足最优分配情况下,使系统整体性能达到最优,无疑对于边缘计算的相关应用具有极其重要的意义。
发明内容
针对上述现有技术存在的技术问题,本发明提供了一种适合边缘计算环境的资源优化分配方法。本发明通过云计算中心尽可能多地接收请求任务,并在任务集合中选取合适的任务,将这些任务均衡地分配到系统中的边缘计算设备或处理节点上;使每个处理节点负载均衡,且每个处理节点上的剩余资源最少,从而使得系统资源利用率最高,提升系统整体性能。
本发明通过下述技术方案实现:
一种适合边缘计算环境的资源优化分配方法,该方法包括:
步骤S1,获取每个处理节点当前的资源利用率;
步骤S2,获取处理节点集合中每个处理节点的当前剩余资源量;
步骤S3,从处理节点集合中选取当前剩余资源量总和最大的处理节点,并将该处理节点置为处理节点o;
步骤S4,从剩余任务集合中选择任务k加入处理节点o,并计算该处理节点o在加入任务k后的资源均衡度Pok,k∈{1,2,…,n},在所有Pok中选取Pok最小对应的任务;
步骤S5,如果没有Pok,表示所有任务都不能再分配到该处理节点o上,将该处理节点o从处理节点集合中去掉;否则,将Pok最小对应的任务分配到该处理节点o上,并从剩余任务集合中去掉该任务;
步骤S6,判断处理节点集合或者剩余任务集合是否为空,如果是则输出每个处理节点的分配任务、分配资源、剩余资源和资源利用率;否则重复执行步骤S1-步骤S5。
优选的,所述步骤S2具体通过下式计算得到每个处理节点的当前剩余资源量:
优选的,所述步骤S4中资源均衡度通过下式计算得到:
其中,pr表示第i个处理节点的资源均衡度,pj表示第j维资源与自身总资源的比值,p′j表示第j维已经分配资源与已经分配总资源的比值,j∈{1,2,…,m}。
优选的,通过下式计算得到pj和p′j:
其中,rij表示第i个处理节点的第j维资源量,r′ij表示第i个处理节点已经分配到第j维资源量。
优选的,所述步骤S1具体包括获取每个处理节点每维资源在自身总资源量的比值和每个处理节点每维已经分配资源与此节点已经分配总资源量的比值。
优选的,所述每个处理节点每维资源在自身总资源量的比值Cij通过下式获得:
其中,rij表示第i个处理节点的第j维资源量。
优选的,所述每个处理节点每维已经分配资源与此节点已经分配总资源量的比值C′ij通过下式获得:
其中,r′ij表示第i个处理节点已经分配到第j维资源量。
本发明具有如下的优点和有益效果:
针对边缘计算环境中资源的优化分配和合理调度这一问题,本发明提出了一种适合边缘计算环境的资源优化分配方法。该方法在充分考虑各个边缘计算设备或处理节点资源负载约束条件的前提下,从请求任务中选取合适的任务分配到合适的边缘计算设备或节点上,从而使系统资源利用率最高,系统整体性能达到最优。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明的方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例
为了实现系统资源利用率最大化,通过云计算中心尽可能多地接收请求任务,并在任务集合中选取合适的任务,将这些任务均衡地分配到系统中的边缘计算设备或处理节点上;使每个处理节点负载均衡,且每个处理节点上的剩余资源最少。其实现原理如下:
已知c个任务处理节点,每个处理节点有系统资源R(r1,r2,…,rm):共m维资源,请求执行的任务集合{T1,T2,…,Tn}:共n个请求,且每个任务需要资源为ri={ri,1,ri,2,…,ri,m},i∈{1,2,…,n},那么怎样从n个请求的任务集合{T1,T2,…,Tn}中选取c个互不相交的子集{s1,s2,…,sc},并将他们分配到c个任务处理节点上,使每个处理节点的剩余资源最小,且各个节点分配的任务总和最多。
本实施例基于上述基本思想,提出了一种适合边缘计算环境的资源优化分配方法,如图1所示,该方法包括以下步骤:
步骤1:获取处理节点集合中每个处理节点的资源利用率。
本实施例中,步骤1具体包括:
(1)计算每个处理节点每维资源在自身总资源中的比值Cij:
其中,rij表示第i个处理节点的第j维资源量。
(2)计算每个处理节点每维已经分配资源与此节点已经分配总资源量的比值C′ij:
其中,r′ij表示第i个处理节点已经分配到第j维资源量。
步骤2:计算处理节点集合中每个处理节点的当前剩余资源量,当前剩余资源量通过下式计算:
步骤3:从处理节点集合中选取剩余资源量总和最大的处理节点,且设该选取的处理节点为处理节点o;
步骤4:从剩余任务集合中选择第k个任务能放入o节点,重新计算o节点在加入任务k后的资源均衡度Pok,k∈{1,2,…,n},然后在所有Pok中选取Pok最小对应的任务;
本实施例中,资源均衡度是衡量系统资源是否被均衡使用的指标,定义如下:设第i个处理节点第j维资源是rij,那么此处理节点的总资源为:∑rij,j∈{1,2,…,m}。每维资源与总资源的比值为:
同理,设第i个处理节点已经分配到第j维资源是r′ij,每维已经分配资源与总已经分配资源的比值为:
则资源均衡度pr为:
步骤5:如果没有选取到满足条件的Pok,表示所有任务都不能再分配到o处理节点上,那么就从处理节点集合中去掉o节点(即更新处理节点集合);否则,将此任务分配到o节点,并从任务集合中去掉该任务(即更新任务集合)。
步骤6:判断更新后的处理节点集合或任务集合是否为空,若有一个为空,则转入步骤7;否则,返回到步骤1;
步骤7:方法执行结束,并输出每个处理节点(系统中所有处理节点)的分配任务、分配资源、剩余资源和资源利用率。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种适合边缘计算环境的资源优化分配方法,其特征在于,该方法包括:
步骤S1,获取每个处理节点当前的资源利用率;
步骤S2,获取处理节点集合中每个处理节点的当前剩余资源量;
步骤S3,从处理节点集合中选取当前剩余资源量总和最大的处理节点,并将该处理节点置为处理节点o;
步骤S4,从剩余任务集合中选择任务k加入处理节点o,并计算该处理节点o在加入任务k后的资源均衡度Pok,k∈{1,2,…,n},在所有Pok中选取Pok最小对应的任务;n表示任务请求数;
所述步骤S4中资源均衡度是衡量系统资源是否被均衡使用的指标,通过下式计算得到:
其中,pr表示第i个处理节点的资源均衡度,pj表示第j维资源与自身总资源的比值,p′j表示第j维已经分配资源与已经分配总资源的比值,j∈{1,2,…,m},m表示系统资源维数;
步骤S5,如果没有选取到满足条件的Pok,表示所有任务都不能再分配到该处理节点o上,将该处理节点o从处理节点集合中去掉;否则,将Pok最小对应的任务分配到该处理节点o上,并从剩余任务集合中去掉该任务;
步骤S6,判断处理节点集合或者剩余任务集合是否为空,如果是则输出每个处理节点的分配任务、分配资源、剩余资源和资源利用率;否则重复执行步骤S1-步骤S5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910645803.5A CN110347515B (zh) | 2019-07-17 | 2019-07-17 | 一种适合边缘计算环境的资源优化分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910645803.5A CN110347515B (zh) | 2019-07-17 | 2019-07-17 | 一种适合边缘计算环境的资源优化分配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110347515A CN110347515A (zh) | 2019-10-18 |
CN110347515B true CN110347515B (zh) | 2021-08-03 |
Family
ID=68176642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910645803.5A Active CN110347515B (zh) | 2019-07-17 | 2019-07-17 | 一种适合边缘计算环境的资源优化分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110347515B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111858051B (zh) * | 2020-07-20 | 2023-09-05 | 国网四川省电力公司电力科学研究院 | 一种适合边缘计算环境的实时动态调度方法、系统和介质 |
CN112433846B (zh) * | 2020-11-05 | 2022-10-21 | 德州职业技术学院(德州市技师学院) | 一种边缘计算的资源调度方法和系统 |
CN113079389B (zh) * | 2021-03-23 | 2022-01-25 | 国网江苏省电力有限公司信息通信分公司 | 一种边缘计算环境下的资源自适应调节方法 |
CN113742059B (zh) * | 2021-07-15 | 2024-03-29 | 上海朋熙半导体有限公司 | 任务分配方法、装置、计算机设备和存储介质 |
CN114138453B (zh) * | 2021-10-18 | 2022-10-28 | 中标慧安信息技术股份有限公司 | 一种适合边缘计算环境的资源优化分配方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103699448A (zh) * | 2014-01-14 | 2014-04-02 | 浪潮(北京)电子信息产业有限公司 | 一种云计算环境下基于时间期限和预算的调度方法 |
CN105656973A (zh) * | 2014-11-25 | 2016-06-08 | 中国科学院声学研究所 | 一种分布式节点组内任务调度方法及系统 |
CN107193658A (zh) * | 2017-05-25 | 2017-09-22 | 重庆工程学院 | 基于博弈论的云计算资源调度方法 |
CN109656702A (zh) * | 2018-12-20 | 2019-04-19 | 西安电子科技大学 | 一种基于强化学习的跨数据中心网络任务调度方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7590984B2 (en) * | 2003-05-29 | 2009-09-15 | International Business Machines Corporation | System and method for balancing a computing load among computing resources in a distributed computing problem |
US8151272B2 (en) * | 2008-04-07 | 2012-04-03 | At&T Intellectual Property I, Lp | Optimized usage of collector resources for performance data collection through even task assignment |
-
2019
- 2019-07-17 CN CN201910645803.5A patent/CN110347515B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103699448A (zh) * | 2014-01-14 | 2014-04-02 | 浪潮(北京)电子信息产业有限公司 | 一种云计算环境下基于时间期限和预算的调度方法 |
CN105656973A (zh) * | 2014-11-25 | 2016-06-08 | 中国科学院声学研究所 | 一种分布式节点组内任务调度方法及系统 |
CN107193658A (zh) * | 2017-05-25 | 2017-09-22 | 重庆工程学院 | 基于博弈论的云计算资源调度方法 |
CN109656702A (zh) * | 2018-12-20 | 2019-04-19 | 西安电子科技大学 | 一种基于强化学习的跨数据中心网络任务调度方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110347515A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110347515B (zh) | 一种适合边缘计算环境的资源优化分配方法 | |
CN111427681B (zh) | 边缘计算中基于资源监控的实时任务匹配调度系统和方法 | |
CN110168516B (zh) | 用于大规模并行处理的动态计算节点分组方法及系统 | |
US10831562B2 (en) | Method and system for operating a data center by reducing an amount of data to be processed | |
US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
CN107659433B (zh) | 一种云资源调度方法及设备 | |
US9201690B2 (en) | Resource aware scheduling in a distributed computing environment | |
KR101885688B1 (ko) | 낮은 지연속도 데이터 액세스를 위한 데이터 스트림의 분할 | |
CN109710406B (zh) | 数据分配及其模型训练方法、装置、及计算集群 | |
Li et al. | An effective scheduling strategy based on hypergraph partition in geographically distributed datacenters | |
CN110569252B (zh) | 一种数据处理系统及方法 | |
CN108270805B (zh) | 用于数据处理的资源分配方法及装置 | |
Mahato et al. | On scheduling transactions in a grid processing system considering load through ant colony optimization | |
CN105471985A (zh) | 负载均衡方法及云平台计算方法、云平台 | |
CN107861796A (zh) | 一种支持云数据中心能耗优化的虚拟机调度方法 | |
US9898061B2 (en) | Resource capacity management in a cluster of host computers using power management analysis | |
CN108427602B (zh) | 一种分布式计算任务的协同调度方法及装置 | |
CN115134371A (zh) | 包含边缘网络算力资源的调度方法、系统、设备及介质 | |
CN114327811A (zh) | 一种任务调度方法、装置、设备及可读存储介质 | |
CN112437449B (zh) | 联合资源分配方法 | |
CN112286623B (zh) | 一种信息处理方法及装置、存储介质 | |
CN112506650A (zh) | 资源分配方法、系统、计算机设备和存储介质 | |
CN106844037B (zh) | 一种基于knl的测试方法及系统 | |
CN115801896A (zh) | 算力网络节点分配方法、装置、电子设备及存储介质 | |
Ismaeel et al. | A systematic cloud workload clustering technique in large scale data centers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |