CN110162390A - 一种雾计算系统的任务分配方法及系统 - Google Patents
一种雾计算系统的任务分配方法及系统 Download PDFInfo
- Publication number
- CN110162390A CN110162390A CN201910405759.0A CN201910405759A CN110162390A CN 110162390 A CN110162390 A CN 110162390A CN 201910405759 A CN201910405759 A CN 201910405759A CN 110162390 A CN110162390 A CN 110162390A
- Authority
- CN
- China
- Prior art keywords
- task
- computing system
- individual
- optimization target
- mist computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供了一种雾计算系统的任务分配方法及系统,方法包括:获取雾计算系统的任务优化目标以及所述任务优化目标对应的约束条件;确定雾计算系统中的待处理任务集合以及相关信息;基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标。本发明实施例提供的一种雾计算系统的任务分配方法及系统,基于任务分配问题的特征提出有效的搜索,结合分布估计算法,对任务分配问题进行了高效求解,在大规模短时间场景下获取可行的任务分配方案。
Description
技术领域
本发明涉及雾计算系统技术领域,尤其涉及一种雾计算系统的任务分配方法及系统。
背景技术
近年来,随着硬件技术的提升,物联网设备和应用飞速发展,从智能家居到工业互联网,影响、改善并提升了生产生活的方方面面。由于智能硬件大多通过无线网络链接技术与外界连通,如果将采集到的数据完全发送给云端处理器计算,再将结果返回用户,容易造成无线网络终端拥塞,有限的带宽也会使传输延迟增大从而降低服务质量。同时,大部分智能硬件以电池供电,大批量数据的收发会消耗较多电池电量并降低智能硬件使用寿命。雾计算技术是一种解决时延敏感类物联网应用的解决方案,其旨在将计算资源和能力从远云端转移到互联网边缘,将数据的管理、处理和简单计算移动到数据源附近从而降低传输数据量以降低时延和消耗电量。相比于云计算,雾计算技术是分布式、和去中心化的。除此之外,雾计算还可以提高应用的保密性并提供实时的数据预处理、分析、计算和存储。常见的雾计算节点有网关、本地服务器、个人电脑等,计算能力低于云计算中心的集中服务器,缓存容量小,但距信息源近,可以对数据进行预处理,大大降低了与远端云处理器通信的负载量。同时,雾计算节点缓存较小,计算能力较差,需要对任务进行分配和调度从而降低任务时延,提高服务质量。因此,雾计算系统中出现了新的、亟待解决的服务提供结构以及任务分配问题。
现有技术中将雾计算系统的任务分配问题建模为带有容量约束的任务放置,最大化总任务完成效率的问题。即将该问题转化为多箱的装箱问题,并提出了一种求解该问题的动态规划方法,通过迭代方法对该问题进行求解。
但上述现有技术的方案中所提及的动态规划解法由于复杂度高其中|JUNP|表示待分配至容量有限计算节点的任务个数,Ci表示第i个雾节点的容量,m表示容量有限的雾节点个数,故而现有方法只适用于节点少、容量小的场景下。因此现在亟需一种更高效的雾计算系统的任务分配方法来解决上述问题。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的一种雾计算系统的任务分配方法及系统。
第一方面本发明实施例提供一种雾计算系统的任务分配方法,包括:
获取雾计算系统的任务优化目标以及所述任务优化目标对应的约束条件;
确定雾计算系统中的待处理任务集合以及相关信息;
基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标。其中,在所述确定雾计算系统中的待处理任务集合之前,所述方法还包括:
获取雾计算系统中的任务集合和计算节点集合;
对所述任务集合和计算节点集合进行数据预处理。
其中,所述基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标,包括:
将所述待处理任务集合中的任务以平均效率降序排列;
初始化分配概率矩阵;
对所述种群中的每个个体按所述降序排列节点顺序,利用所述分配概率矩阵采样得到编码串;
对所述编码串解码,计算得到分配方案对应的目标值;
对所有个体按目标值降序排列,选择靠前预设数量的个体作为优势个体,并基于增量学习方法,利用所述优势个体的编码串更新分配概率矩阵中的概率值;
循环执行直至满足预设的终止准则,输出最优的任务分配方案。
其中,所述待处理任务集合中的任务计算其在各合法计算节点和操作上的平均处理效率表征为:
其中,x为操作选项、j为任务、Ujzx为任务j在节点z的操作x上处理的效率、JUNP为待处理任务集合,i为任务编号。
其中,所述初始化分配概率矩阵,包括:
均匀初始化所述分配概率矩阵,以使每个待分配任务分配至每个计算节点的初始概率值均相等。
其中,对于种群每个个体的编码串,其所述目标值表征为:
其中,x为操作选项、j为任务、Ujzx为任务j在节点z的操作x上处理的效率、JUNP为待处理任务集合,i为任务编号。对所述种群中每个个体,其目标值按所述方法计算。
其中,所述对所有个体按目标值降序排列,选择靠前预设数量的个体作为优势个体,并基于增量学习方法,利用所述优势个体的编码串更新分配概率矩阵中的概率值,包括:
基于所述任务在所分配计算节点上的最大处理效率之和,计算种群中每个个体的目标函数;
将所述目标函数按照降序排列,以确定所述种群中的优势个体;
基于所述优势个体,更新所述节点分配概率矩阵,并采样产生新的种群,直至达到预设的终止条件,以输出最优的任务分配方案。
第二方面本发明实施例还提供一种雾计算系统的任务分配系统,包括:
条件获取模块,用于获取雾计算系统的任务优化目标以及所述任务优化目标对应的约束条件;
任务确定模块,用于确定雾计算系统中的待处理任务集合以及相关信息;
任务分配模块,用于基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标。
第三方面本发明实施例提供了一种电子设备,包括:
处理器、存储器、通信接口和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行上述雾计算系统的任务分配方法。
本发明实施例提供的一种雾计算系统的任务分配方法及系统,基于任务分配问题的特征提出有效的搜索,结合分布估计算法,对任务分配问题进行了高效求解,在大规模短时间场景下获取可行的任务分配方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种雾计算系统的任务分配方法流程示意图;
图2是本发明实施例提供的一种解的编码示意图;
图3是本发明实施例提供的一种雾计算系统的任务分配系统结构示意图;
图4是本发明实施例提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明所有实施例中,字符的含义定义如下:
z为计算节点、x为操作选项、j为任务、Cz为计算节点z的容量、Ijzx为示性函数,等于1时表示任务j在节点z的操作x上处理、Ujzx为任务j在节点z的操作x上处理的效率、Tjzx为任务j在节点z的操作x上处理所需的时间(秒)、Qjx(t)为任务j处于操作x、时间t时的效率、fj(t)为任务j在时间t结束时的时间相关效率。
图1是本发明实施例提供的一种雾计算系统的任务分配方法流程示意图,如图1所示,包括:
步骤101、获取雾计算系统的任务优化目标以及所述任务优化目标对应的约束条件;
步骤102、确定雾计算系统中的待处理任务集合以及相关信息;
步骤103、基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标。
需要说明的是,本发明实施例针对的场景是在有容量约束的场景下的雾计算节点任务分配,在步骤101中,任务分配的优化目标为最大化任务在计算节点上的处理效率总和,该处理效率总和取决于“任务-节点”的分配方案。
针对该分配方案,本发明实施例可对其进行建模,模型公式可以表示为:
max∑j∈JUjzx(Tjzx)×Ijzx; (1)
该模型需要满足以下约束条件:
Pr(fj(Tjzx)<qj)×Ijzx≤Pj′ (4)
其中,公式(1)表示最大化所有任务在其完成时间上的效率之和。公式(2)表示对任意一个任务,其只能在一个计算节点上选择一个操作被处理。公式(3)表示对于任意一个计算节点,所有在该节点上处理的任务总和不超过该节点的容量。公式(4)中的Pr()是概率函数,表示任务j的完成效率低于设定值qj的概率被控制在Pj’以内。公式(5)表示Ijzx是0-1示性函数。
进一步的,在本发明实施例中,为了加快任务完成,刻画任务的截止时间,公式(4)中的时间相关效率函数fj(t)采用wait-readily-first函数,该函数表达式如下所示:
进一步的,在步骤102中,本发明实施例首先读取任务集合J和计算节点集合Z信息。任务信息包括各个任务效率函数参数{Te,Ts},在不同计算节点上完成所需的时间{Tjzx}和设定完成概率,计算节点信息包括容量和固有处理效率{Cz,Az}。
本发明实施例根据问题的特性重新设计了算法框架,首先计算所有任务在所有计算节点上的处理效率以及在各个计算节点上是否满足(4)的概率约束,形成|J|×|X|×|Z|的处理效率矩阵和满足概率约束与否的0-1矩阵。处理效率由计算节点固有效率和任务时间相关效率函数两方面决定,计算方式如下所示:
Ujzx(Tjzx)=E(Qjzx(Tjzx)) (7)
其中,Qjzx(Tjzx)=Azx×fj(Tjzx),Azx∈[0,1]是计算节点及操作相关的固定效率参数,故公式(7)可以变换如下,
Ujzx(Yjzx)=Azx×E(fj(Tjzx)) (8)
由期望性质有:
其中,p(t)是Tjzx的概率密度函数,Tjzx可以用均匀分布变量表征,p(t)是均匀分布密度函数。由wait-readily-first函数性质上式可以变换如下:
设Tjzx~U(Ta,Tb),则相应的密度函数为:
则将其代入公式(10)可计算得:
以公式(8)和公式(12)计算得到不同任务在各计算节点上的处理效率,得到处理效率矩阵U|J|×|X|×|Z|。
针对完成概率约束公式(4),数据预处理需要计算不同任务在各节点上满足设定概率约束与否,若特定操作节点中存在某个操作x满足该约束,任务j的完成效率低于设定值qj的概率被控制在Pj’以内,则矩阵值设为1,否则设为0,从而形成约束满足的0-1矩阵Pr|J|×|Z|。公式(4)中的概率函数计算方式如下所示:
其中,Tp是wait-readily-first函数的反函数下,设定值qj对应的时间节点,即Tp=f-1(qj)。
进一步的,本发明实施例对于每个任务,对Prz=1的计算节点和操作对应的处理效率值进行排序,选择其中最大值对应的计算节点和操作,若该计算节点为容量无限大节点,则将该任务分配至相应节点及操作;否则,将该任务放入待处理任务集合JUNP中,同时本发明实施例还获取了待处理任务集合的处理时间、时间效率函数等相关信息。
最后,在步骤103中,本发明实施例采用了分布估计函数对JUNP中的任务进行分配。分布估计函数是一类基于概率模型采样和更新的进化算法。其根据问题信息,建立概率采样模型,并对采样模型初始化。算法种群规模为N,由概率矩阵采样得到种群,评价种群中的所有个体并根据目标函数排序,找出目标函数最优的E个个体,统计它们的编码频次,并基于该编码频次以特定的统计学习方式更新概率矩阵中的概率值。新一代种群由更新后的概率矩阵采样产生。算法不断更新进化直到满足终止准则,即进化代数达到T代就终止。从而能够针对约束条件下的节点分配问题找出最优解或者在有限时间内找到相对满意解,即最优任务分配方案。
本发明实施例提供的一种雾计算系统的任务分配方法,基于任务分配问题的特征提出有效的搜索,结合分布估计算法,对任务分配问题进行了高效求解,在大规模短时间场景下获取可行的任务分配方案。
在上述实施例的基础上,在所述确定雾计算系统中的待处理任务集合之前,所述方法还包括:
获取雾计算系统中的任务集合和计算节点集合;
对所述任务集合和计算节点集合进行数据预处理。
由上述实施例的内容可知,本发明实施例提供了一种基于分布估计算法的求解容量约束的雾计算任务分配方法,那么对于该方法中所使用的数据需要进行数据预处理。
在上述实施例的基础上,所述基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标,包括:
将所述待处理任务集合中的任务以平均效率降序排列;
初始化分配概率矩阵;
对所述种群中的每个个体按所述降序排列节点顺序,利用所述分配概率矩阵采样得到编码串;
对所述编码串解码,计算得到分配方案对应的目标值;
对所有个体按目标值降序排列,选择靠前预设数量的个体作为优势个体,并基于增量学习方法,利用所述优势个体的编码串更新分配概率矩阵中的概率值;
循环执行直至满足预设的终止准则,输出最优的任务分配方案。
由上述实施例的内容可知,本发明实施例对待处理任务集合中的任务进行分配,并需要满足任务优化目标以及所述任务优化目标对应的约束条件。
具体的,本发明实施例针对计算节点分配问题,本发明实施例以长度为|JUNP|、每位均属于1~m的数字串来表征一个解。图2是本发明实施例提供的一种解的编码示意图,如图2所示。第i位上的数字值等于j代表JUNP中第i个任务被分配到第j个计算节点上,其中j必须是任务i的合法节点,即在该节点上存在Prj=1的操作可以处理该任务。对于每个解,设第i个任务被分配到计算节点zi上,则其目标函数,即任务在所分配计算节点上的最大处理效率之和,计算公式如下:
那么对种群中的个体,可以利用公式(14)进行评价。
本发明实施例考虑到计算节点的采样需要按顺序进行,本发明对JUNP中的任务计算其在各合法计算节点和操作上的平均处理效率。对所有的任务,按平均处理效率的降序排列并依次考虑计算节点的分配方案。
本发明实施例提供的概率矩阵PZ×l设计如下式所示:
其中,矩阵P第i行表示任务i被分配到1~Z的概率,第j列表示各个任务被分配到计算节点j上的概率,概率值pij表示任务i被分配到计算节点j上的概率。
需要说明的是,本发明实施例在首次实行时需要对该概率矩阵进行初始化,针对每个任务i,执行以下操作步骤进行初始化:
步骤1:对Pr矩阵中的第j列求和,计算其可以被按要求完成计算的合法计算节点个数Zj sum。
步骤2:对概率矩阵P第j列赋值,对所有i,
假设任务1在3个计算节点中有2个合法计算节点,其对应的pr向量为[1,1,0],则任务1对应的Z1 sum=1+1=2,相应的,任务1对应的概率向量为[0.5,0.5,0]。
进一步的,对于计算的概率矩阵本发明实施例进行了采样生成任务的计算节点分配方案,采样方法如下所示:
按照处理效率降序排列顺序,针对每个任务i,执行以下操作步骤:
S1:对第i行的概率值进行归一化,然后利用轮盘赌方法采样得到任务i的分配节点zi。
S2:统计分配到zi上的任务数,若达到其容量限制,则将P的第j列置为0,即该计算节点不能继续接收处理新的任务。
假设任务1已经被分配到了计算节点1,而节点1的容量为1,任务2相应的初始分配概率向量为[0.33,0.33,0.33]。由于节点1已经达到容量限制,则所有任务的分配概率向量第1位均置0。任务2的概率向量变为[0,0.33,0.33]。接下来进行概率值归一化,得到新的向量[0,0.5,0.5]。生成一个属于(0,1)的随机数rand(0,1),若rand(0,1)<0.5,则根据轮盘赌方法任务2被分配至计算节点2;若0.5<rand(0,1)<1,则任务2被分配至计算节点3。
最后根据任务的计算节点分配方案进行种群更新,按照公式(14)所示的方法计算相应的目标函数,并按目标函数降序排列。选择其中前E个个体被选择并组成优势个体种群。利用这些优势个体,概率矩阵值被更新。
具体的更新过程为:
建立一个和采样矩阵一一对应的频次矩阵F={fij}Z×l,初始值置为0。其中每个值对于每个优势个体,有:
第1步:考虑第1~l个任务,其中第j个任务被分配到的计算节点zj,则
第2步:利用基于群体的增量学习方法PBIL(Population based incrementallearning)和频次矩阵F对概率模型值进行更新,即:
pij(t)=(1-α)×pij(t-1)+α×fij/E(16)
其中,pij(t)表示第t代的概率值,α表示本发明实施例提供的方法的学习速率。
假设有优势个体x,其分配方案为[1 3 3],则有f11++,f23++,f33++。设p23(0)=0.33,p23=2,优势个体数E=2,学习速率α=0.1,则下一代概率值p23(0)=0.9*0.33+0.1*2/2=0.397。
按照此方法更新后,再利用更新后的概率矩阵采样得到下一代种群,循环迭代,直到满足终止准则。
那么对于每一代种群评价时记录并更新最优解,当进化代数t=T时,终止算法,将最优解的分配方案输出。
其中,需要说明的是,所述待处理任务集合中的任务计算其在各合法计算节点和操作上的平均处理效率表征为:
其中,x为操作选项、j为任务、Ujzx为任务j在节点z的操作x上处理的效率、JUNP为待处理任务集合,i为任务编号。对所述种群中每个个体,其“任务-计算节点”产生顺序为U′avg降序排列顺序。
所述初始化分配概率矩阵,包括:
均匀初始化所述分配概率矩阵,以使每个待分配任务分配至每个计算节点的初始概率值均相等。
对于种群每个个体的编码串,其所述目标值表征为:
其中,x为操作选项、j为任务、Ujzx为任务j在节点z的操作x上处理的效率、JUNP为待处理任务集合,i为任务编号。对所述种群中每个个体,其目标值按所述方法计算。
为了验证本发明实施例提供的雾计算系统的任务分配方法得分配性能,本发明实施例将其与已有的动态规划算法进行比较,设计两个实例对两个算法进行测试。
测试采用C++语言编程,仿真环境为Intel(R)core(TM)i7-4790 CPU@3.6GHz/16GBRAM,操作系统为windows 10。算法的终止准则是评价次数。
小规模算例中,考虑10个任务,3个计算节点,容量分别为3、3和无穷大,固有效率Aj1=0.6,Aj2=0.7,Aj3=0.9,所有计算节点的操作个数|X|=1。任务处理时间Tj11~[0.5,0.7],Tj12~[0.8,1.0],Tj13~[1.1,1.3]。fj(t)=1,t≤0.5,0.5≤t≤0.5+0.3j,
fj(t)=0,0.5+0.3j≤t。对所有的j,公式(4)中的qj=0.6,P’j=0.2。
对于这个小规模算例算例,设定本发明实施例的方法种群规模为3,进化2代,学习速率为0.10,优势种群比例为20%。即可获得与动态规划一致的最优解{3,2,2,2,3,3,3,3,3,3},即任务2~4被分配到计算节点2,其余任务被分配到计算节点3。任务的平均效率为0.105。
大规模算例中,考虑100个任务,5个计算节点,前三个容量约束计算节点容量分别为20、30、40,后2个容量为无穷大,固有效率Aj1=0.5,Aj2=0.6,Aj3=0.7,Aj4=0.8,Aj5=0.9,所有计算节点的操作个数|X|=1。任务处理时间Tj11~[0.5,0.7],Tj12~[0.8,1.0],Tj13~[1.1,1.3],Tj11~[1.4,1.6],Tj12~[1.7,1.9]。fj(t)=1,t≤0.5,fj(t)=1-(t-0.5)/0.03j,0.5≤t≤0.5+0.03j,fj(t)=0,0.5+0.03j≤t。对所有的j,(4)中的qj=0.6,P’j=0.2。
对于这个复杂算例,适当提高算法种群规模和运行代数,设定本发明实施例提供的方法种群规模为30,进化200代,学习速率为0.10,优势种群比例为20%。分别运行两个算法,动态规划算法耗时70.066s,本发明实施例提供的方法耗时1.922s。运行结果显示两个算法获得的任务平均效率相同,均为0.766。
由测试结果可见,本发明实施例提供的方法在大规模场景中,可以在极大降低算法复杂度的情况下,获得问题的最优解,降低任务分配所需等待时间,适用于实际工程应用问题。
图3是本发明实施例提供的一种雾计算系统的任务分配系统结构示意图,如图3所示,包括:条件获取模块301、任务确定模块302以及任务分配模块303,其中:
条件获取模块301,用于获取雾计算系统的任务优化目标以及所述任务优化目标对应的约束条件;
任务确定模块302,用于确定雾计算系统中的待处理任务集合以及相关信息;
任务分配模块303,用于基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标。
具体的如何通过条件获取模块301、任务确定模块302以及任务分配模块303可用于执行图1所示的雾计算系统的任务分配方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例提供的一种雾计算系统的任务分配系统,基于任务分配问题的特征提出有效的搜索,结合分布估计算法,对任务分配问题进行了高效求解,在大规模短时间场景下获取可行的任务分配方案。
在上述实施例的基础上,所述系统还用于:
获取雾计算系统中的任务集合和计算节点集合;
对所述任务集合和计算节点集合进行数据预处理。
在上述实施例的基础上,所述任务分配模块包括:
将所述待处理任务集合中的任务以平均效率降序排列;
初始化分配概率矩阵;
对所述种群中的每个个体按所述降序排列节点顺序,利用所述分配概率矩阵采样得到编码串;
对所述编码串解码,计算得到分配方案对应的目标值;
对所有个体按目标值降序排列,选择靠前预设数量的个体作为优势个体,并基于增量学习方法,利用所述优势个体的编码串更新分配概率矩阵中的概率值;
循环执行直至满足预设的终止准则,输出最优的任务分配方案。
在上述实施例的基础上,所述待处理任务集合中的任务计算其在各合法计算节点和操作上的平均处理效率表征为:
其中,x为操作选项、j为任务、Ujzx为任务j在节点z的操作x上处理的效率、JUNP为待处理任务集合,i为任务编号。5、根据权利要求3所述的方法,其特征在于,所述初始化分配概率矩阵,包括:
均匀初始化所述分配概率矩阵,以使每个待分配任务分配至每个计算节点的初始概率值均相等。
在上述实施例的基础上,对于种群每个个体的编码串,其所述目标值表征为:
其中,x为操作选项、j为任务、Ujzx为任务j在节点z的操作x上处理的效率、JUNP为待处理任务集合,i为任务编号。对所述种群中每个个体,其目标值按所述方法计算。
在上述实施例的基础上,所述对所有个体按目标值降序排列,选择靠前预设数量的个体作为优势个体,并基于增量学习方法,利用所述优势个体的编码串更新分配概率矩阵中的概率值包括:
基于所述任务在所分配计算节点上的最大处理效率之和,计算种群中每个个体的目标函数;
将所述目标函数按照降序排列,以确定所述种群中的优势个体;
基于所述优势个体,更新所述节点分配概率矩阵,并采样产生新的种群,直至达到预设的终止条件,以输出最优的任务分配方案。
本发明实施例提供一种电子设备,包括:至少一个处理器;以及与所述处理器通信连接的至少一个存储器,其中:
图4是本发明实施例提供的电子设备的结构框图,参照图4,所述电子设备,包括:处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和总线404,其中,处理器401,通信接口402,存储器403通过总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令,以执行如下方法:获取雾计算系统的任务优化目标以及所述任务优化目标对应的约束条件;确定雾计算系统中的待处理任务集合以及相关信息;基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行每个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种雾计算系统的任务分配方法,其特征在于,包括:
获取雾计算系统的任务优化目标以及所述任务优化目标对应的约束条件;
确定雾计算系统中的待处理任务集合以及相关信息;
基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标。
2.根据权利要求1所述的方法,其特征在于,在所述确定雾计算系统中的待处理任务集合之前,所述方法还包括:
获取雾计算系统中的任务集合和计算节点集合;
对所述任务集合和计算节点集合进行数据预处理。
3.根据权利要求1所述的方法,其特征在于,所述基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标,包括:
将所述待处理任务集合中的任务以平均效率降序排列;
初始化分配概率矩阵;
对种群中的每个个体按所述降序排列节点顺序,利用所述分配概率矩阵采样得到编码串;
对所述编码串解码,计算得到分配方案对应的目标值;
对所有个体按目标值降序排列,选择靠前预设数量的个体作为优势个体,并基于增量学习方法,利用优势个体的编码串更新分配概率矩阵中的概率值;循环执行直至满足预设的终止准则,输出最优的任务分配方案。
4.根据权利要求3所述的方法,其特征在于,所述待处理任务集合中的任务计算其在各合法计算节点和操作上的平均处理效率表征为:
其中,x为操作选项、j为任务、Ujzx为任务j在节点z的操作x上处理的效率、JUNP为待处理任务集合,i为任务编号。
5.根据权利要求3所述的方法,其特征在于,所述初始化分配概率矩阵,包括:
均匀初始化所述分配概率矩阵,以使每个待分配任务分配至每个计算节点的初始概率值均相等。
6.根据权利要求3所述的方法,其特征在于,对于种群每个个体的编码串,其所述目标值表征为:
其中,x为操作选项、j为任务、Ujzx为任务j在节点z的操作x上处理的效率、JUNP为待处理任务集合,i为任务编号。
7.根据权利要求3所述的方法,其特征在于,所述对所有个体按目标值降序排列,选择靠前预设数量的个体作为优势个体,并基于增量学习方法,利用所述优势个体的编码串更新分配概率矩阵中的概率值,包括:
基于所述任务在所分配计算节点上的最大处理效率之和,计算种群中每个个体的目标函数;
将所述目标函数按照降序排列,以确定所述种群中的优势个体;
基于所述优势个体,更新所述节点分配概率矩阵,并采样产生新的种群,直至达到预设的终止条件,以输出最优的任务分配方案。
8.一种雾计算系统的任务分配系统,其特征在于,包括:
条件获取模块,用于获取雾计算系统的任务优化目标以及所述任务优化目标对应的约束条件;
任务确定模块,用于确定雾计算系统中的待处理任务集合以及相关信息;
任务分配模块,用于基于容量约束的分布估计算法,对所述待处理任务集合中的任务进行分配,以在满足所述任务优化目标对应的约束条件下,优化所述任务优化目标。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述雾计算系统的任务分配方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910405759.0A CN110162390B (zh) | 2019-05-15 | 2019-05-15 | 一种雾计算系统的任务分配方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910405759.0A CN110162390B (zh) | 2019-05-15 | 2019-05-15 | 一种雾计算系统的任务分配方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110162390A true CN110162390A (zh) | 2019-08-23 |
CN110162390B CN110162390B (zh) | 2021-03-02 |
Family
ID=67634704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910405759.0A Active CN110162390B (zh) | 2019-05-15 | 2019-05-15 | 一种雾计算系统的任务分配方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110162390B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111541760A (zh) * | 2020-04-20 | 2020-08-14 | 中南大学 | 基于无服务器雾计算系统架构的复杂任务分配方法 |
CN111614754A (zh) * | 2020-05-20 | 2020-09-01 | 重庆邮电大学 | 面向雾计算的成本效率优化的动态自适应任务调度方法 |
CN112379982A (zh) * | 2020-11-12 | 2021-02-19 | 北京字跳网络技术有限公司 | 任务处理方法、装置、电子设备及计算机可读存储介质 |
CN112884319A (zh) * | 2021-02-10 | 2021-06-01 | 腾讯大地通途(北京)科技有限公司 | 一种任务分配方法、装置、计算机设备以及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013119730A1 (en) * | 2012-02-09 | 2013-08-15 | Cisco Technology, Inc. | Application context transfer for distributed computing resources |
CN106227599A (zh) * | 2016-07-20 | 2016-12-14 | 广东工业大学 | 一种云计算系统中资源调度的方法及系统 |
CN107133091A (zh) * | 2017-05-08 | 2017-09-05 | 武汉轻工大学 | 基于自顶向下任务分级的云工作流任务调度方法 |
CN107493334A (zh) * | 2017-08-18 | 2017-12-19 | 西安电子科技大学 | 一种云雾计算网络架构及增强云雾网络架构可靠性的方法 |
US20180165579A1 (en) * | 2016-12-09 | 2018-06-14 | Cisco Technology, Inc. | Deep Learning Application Distribution |
CN108376315A (zh) * | 2018-02-11 | 2018-08-07 | 重庆大学 | 一种基于图模型的不确定炼钢-连铸柔性优化调度方法及系统 |
US20180276049A1 (en) * | 2017-03-24 | 2018-09-27 | Tata Consultancy Services Limited | Systems and methods for estimating computation times a-priori in fog computing robotics |
CN108833486A (zh) * | 2018-05-22 | 2018-11-16 | 江苏大学 | 面向复杂车载雾计算系统环境的混合动态任务调度方法 |
-
2019
- 2019-05-15 CN CN201910405759.0A patent/CN110162390B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013119730A1 (en) * | 2012-02-09 | 2013-08-15 | Cisco Technology, Inc. | Application context transfer for distributed computing resources |
CN106227599A (zh) * | 2016-07-20 | 2016-12-14 | 广东工业大学 | 一种云计算系统中资源调度的方法及系统 |
US20180165579A1 (en) * | 2016-12-09 | 2018-06-14 | Cisco Technology, Inc. | Deep Learning Application Distribution |
US20180276049A1 (en) * | 2017-03-24 | 2018-09-27 | Tata Consultancy Services Limited | Systems and methods for estimating computation times a-priori in fog computing robotics |
CN107133091A (zh) * | 2017-05-08 | 2017-09-05 | 武汉轻工大学 | 基于自顶向下任务分级的云工作流任务调度方法 |
CN107493334A (zh) * | 2017-08-18 | 2017-12-19 | 西安电子科技大学 | 一种云雾计算网络架构及增强云雾网络架构可靠性的方法 |
CN108376315A (zh) * | 2018-02-11 | 2018-08-07 | 重庆大学 | 一种基于图模型的不确定炼钢-连铸柔性优化调度方法及系统 |
CN108833486A (zh) * | 2018-05-22 | 2018-11-16 | 江苏大学 | 面向复杂车载雾计算系统环境的混合动态任务调度方法 |
Non-Patent Citations (3)
Title |
---|
GORLATOVA M , ET AL.,: "Characterizing Task Completion Latencies in Fog Computing", 《ARXIV.ORG》 * |
LIU L ,ET AL.,: "Multiobjective Optimization for Computation Offloading in Fog Computing", 《IEEE INTERNET OF THINGS JOURNAL》 * |
汤琳煜,等;: "基于雾计算的计算资源分配方案", 《计算机工程与应用-网络首发论文》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111541760A (zh) * | 2020-04-20 | 2020-08-14 | 中南大学 | 基于无服务器雾计算系统架构的复杂任务分配方法 |
CN111541760B (zh) * | 2020-04-20 | 2022-05-13 | 中南大学 | 基于无服务器雾计算系统架构的复杂任务分配方法 |
CN111614754A (zh) * | 2020-05-20 | 2020-09-01 | 重庆邮电大学 | 面向雾计算的成本效率优化的动态自适应任务调度方法 |
CN111614754B (zh) * | 2020-05-20 | 2022-04-05 | 重庆邮电大学 | 面向雾计算的成本效率优化的动态自适应任务调度方法 |
CN112379982A (zh) * | 2020-11-12 | 2021-02-19 | 北京字跳网络技术有限公司 | 任务处理方法、装置、电子设备及计算机可读存储介质 |
CN112884319A (zh) * | 2021-02-10 | 2021-06-01 | 腾讯大地通途(北京)科技有限公司 | 一种任务分配方法、装置、计算机设备以及存储介质 |
CN112884319B (zh) * | 2021-02-10 | 2023-11-03 | 腾讯大地通途(北京)科技有限公司 | 一种任务分配方法、装置、计算机设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110162390B (zh) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110162390A (zh) | 一种雾计算系统的任务分配方法及系统 | |
CN110389820B (zh) | 一种基于v-TGRU模型进行资源预测的私有云任务调度方法 | |
CN110968426B (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
CN109710374A (zh) | 移动边缘计算环境下最小化任务卸载费用的vm迁移策略 | |
Dou et al. | Hybrid model for renewable energy and loads prediction based on data mining and variational mode decomposition | |
CN110533112A (zh) | 车联网大数据跨域分析融合方法 | |
CN111836284B (zh) | 基于移动边缘计算的能耗优化计算、卸载方法和系统 | |
CN117472587B (zh) | 一种ai智算中心的资源调度系统 | |
CN112287990A (zh) | 一种基于在线学习的边云协同支持向量机的模型优化方法 | |
CN111176784B (zh) | 一种基于极限学习机和蚁群系统的虚拟机整合方法 | |
CN115186803A (zh) | 一种考虑pue的数据中心算力负荷需求组合预测方法和系统 | |
Hu et al. | Edge intelligence for real-time data analytics in an IoT-based smart metering system | |
CN116933318A (zh) | 一种基于联邦学习的用电数据隐私保护方法 | |
CN115204698A (zh) | 一种低压台区供电稳定性的实时分析方法 | |
Jiang et al. | Computation and communication efficient federated learning with adaptive model pruning | |
CN113762591B (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及系统 | |
Rani et al. | Pareto based ant lion optimizer for energy efficient scheduling in cloud environment | |
CN113676357A (zh) | 面向电力物联网中边缘数据处理的决策方法及其应用 | |
CN116720132A (zh) | 电力业务识别系统、方法、设备、介质和产品 | |
CN114449536A (zh) | 一种基于深度强化学习的5g超密集网络多用户接入选择方法 | |
Peng et al. | Edge-cloud collaborative computation offloading for federated learning in smart city | |
Singhal et al. | Greedy Shapley Client Selection for Communication-Efficient Federated Learning | |
CN109670227A (zh) | 一种基于大数据的仿真数学模型参数对的估量方法 | |
CN112070200A (zh) | 一种谐波群优化方法及其应用 | |
Chiu et al. | An effective metaheuristic algorithm for the deployment problem of edge computing servers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |