CN110928599B - 一种边缘计算网络中基于数据流的任务卸载方法及系统 - Google Patents

一种边缘计算网络中基于数据流的任务卸载方法及系统 Download PDF

Info

Publication number
CN110928599B
CN110928599B CN201911126317.9A CN201911126317A CN110928599B CN 110928599 B CN110928599 B CN 110928599B CN 201911126317 A CN201911126317 A CN 201911126317A CN 110928599 B CN110928599 B CN 110928599B
Authority
CN
China
Prior art keywords
characteristic data
data stream
task
tasks
data streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911126317.9A
Other languages
English (en)
Other versions
CN110928599A (zh
Inventor
骆淑云
王莹
李逸飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Publication of CN110928599A publication Critical patent/CN110928599A/zh
Application granted granted Critical
Publication of CN110928599B publication Critical patent/CN110928599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • G06F9/44594Unloading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种边缘计算网络中基于数据流的任务卸载方法及系统,本发明涉及的一种边缘计算网络中基于数据流的任务卸载方法,其特征在于,包括步骤:S1.根据不同任务的决策需求生成相对应的决策模型;所述决策模型包括特征数据流;S2.计算所述不同决策模型中特征数据流的重复率,并筛选出与所述重复率相对应的特征数据流的任务,根据所述筛选出的任务生成卸载请求;S3.将筛选出的任务中重复的特征数据流进行排序;S4.将所述排序后的特征数据流依次排入调度表中进行传输。本发明使得MEC服务器在多任务并存的场景下满足用户QOS需求,并使得用户实时获得决策反馈,减小边缘服务器缓存压力。用于解决现有技术中的调度方法可靠性低,实用性差等问题。

Description

一种边缘计算网络中基于数据流的任务卸载方法及系统
技术领域
本发明涉及边缘计算技术技术领域,尤其涉及一种边缘计算网络中基于数据流的任务卸载方法及系统。
背景技术
随着大数据的不断发展,数字化的思想逐步渗透到工业制造业中。工业4.0趋势即将更多的物联网设备部署到工厂中,用算法取代人脑,用自动化设备取代人力,逐步实现工业智能化。然而,不可忽视的是随着联网设备的不断扩充,多用户多任务并行处理的需求。传统的集中式云计算已经无法满足当下工业生产的实时性需求。而边缘计算将部分计算卸载到边缘,在边缘端实现对数据流的简单计算或筛选,减轻计算及存储压力,同时由于计算位置上的变化,更靠近用户端,可实现短时间内的有效交互,大大降低传输时延。边缘计算的出现为时间敏感型工业生产带来福音。
据互联网数据中心(IDC)统计,到2020年将会有超过500亿的终端联网设备,超过50%的数据需要在网络边缘侧分析、处理与储存。边缘服务器往往是由较近的路由器,基站等设备构成,虽然具有一定的计算能力能为云端解压,但其有限的计算及存储能力会使智能化任务受到限制。针对目前多用户多任务并行处理的需求,必须有一套合理的计算卸载方案来保证计算的可靠性。
现有方案中虽然可以满足任务延迟约束下移动边缘端的能量消耗最小,默认服务器接收所有数据,但由于边缘服务器计算能力存储能力有限,这一想法虽然能短期内使时延及能耗最小化,但在大数据任务中将很难实现。
在工业智能边缘计算的任务场景中,由于边缘服务器的选择较为灵活,数量不定,用户端向边缘服务器卸载任务的系统架构也较为多样。大数据背景下,考虑工业领域的高实时性需要大规模用户去处理多样的任务需求。由于边缘服务器的计算能力及存储能力限制,接收所有的计算卸载请求是不切实际的。此外在多任务的场景下,往往存在某些重要特征数据参与多个任务决策的情况,会出现多任务决策中重要特征数据重复上传的现象,即使计算及存储能力达到要求也必然会浪费时间,无法保证决策的实时性。
因此,现有调度方法存在如下缺陷:
第一、面向多用户多任务的调度方法未考虑任务相关性。
第二、未考虑移动边缘计算(MEC)服务器自身计算能力及存储能力限制,不能在满足用户服务质量(QoS)要求的情况下接受所有任务。
第三、仅从单一任务入手去研究计算卸载方案,没有考虑多用户多任务的场景。
第四、未考虑边缘服务器满足带宽限制下并行计算的可能。
鉴于此,在多用户多任务的任务场景下,如何考虑任务相关性,在移动边缘计算(MEC)服务器计算能力存储限制下,满足多个任务并存场景,并设计出满足工业生产实时性需求的计算卸载方案,以上这些成为本领域技术人员亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷,提供了一种边缘计算网络中基于数据流的任务卸载方法及系统,使得MEC服务器在多任务并存的场景下满足用户QOS需求,并使得用户实时获得决策反馈,减小边缘服务器缓存压力。用于解决现有技术中的调度方法可靠性低,实用性差等问题。
为了实现以上目的,本发明采用以下技术方案:
一种边缘计算网络中基于数据流的任务卸载方法,包括步骤:
S1.根据不同任务的决策需求生成相对应的决策模型;所述决策模型包括特征数据流;
S2.计算所述不同决策模型中特征数据流的重复率,并筛选出与所述重复率相对应的特征数据流的任务,根据所述筛选出的任务生成卸载请求;
S3.将筛选出的任务中重复的特征数据流进行排序;
S4.将所述排序后的特征数据流依次排入调度表中进行传输。
进一步的,所述步骤S3之前还包括:
判断所述筛选出任务的特征数据流的重复率是否大于重复率阈值。
进一步的,所述步骤S3中将筛选出的任务中重复的特征数据流进行排序包括采用重复优先算法和TMF算法。
进一步的,还包括步骤:
S5.计算传输中任务的完成时间。
进一步的,所述步骤S1包括步骤:
S11.接收用户端收集并上传的任务数据;
S12.将所述接收到的任务数据转换为决策需求,并生成相对应的决策模型;
S13.将所述任务中的特征数据流整理为组;
S14.计算任务中的特征数据流的重复率。
相应的,还提供一种边缘计算网络中基于数据流的任务卸载系统,包括:
生成模块,用于根据不同任务的决策需求生成相对应的决策模型;所述决策模型包括特征数据流;
第一计算模块,用于计算所述不同决策模型中特征数据流的重复率,并筛选出与所述重复率相对应的特征数据流的任务,根据所述筛选出的任务生成卸载请求;
排序模块,用于将筛选出的任务中重复的特征数据流进行排序;
传输模块,用于将所述排序后的特征数据流依次排入调度表中进行传输。
进一步的,还包括:
判断模块,用于判断所述筛选出任务的特征数据流的重复率是否大于重复率阈值。
进一步的,所述排序模块中将筛选出的任务中重复的特征数据流进行排序包括采用重复优先算法和TMF算法。
进一步的,还包括步骤:
第二计算模块,用于计算传输中任务的完成时间。
进一步的,所述生成模块包括:
接收模块,用于接收用户端收集并上传的任务数据;
转换模块,用于将所述接收到的任务数据转换为决策需求,并生成相对应的决策模型;
整理模块,用于将所述任务中的特征数据流整理为组;
第三计算模块,用于计算任务中的特征数据流的重复率。
与现有技术相比,本发明使得MEC服务器在多任务并存的场景下满足用户QOS的计算卸载;本发明采用拓扑排序、决策树等方式寻求任务相关性,避免无关数据上传、多任务场景下重复数据多次上传及无序卸载导致的缓存过多,存储器容量不足等问题;本发明通过运用边缘服务器上并行计算的方式缩减时间。满足工业大数据背景下的实时性需求;本发明还设计了两种调度算法,分别对应多任务决策所需特征数据重复率高和低的两种不同场景下所采用的计算卸载算法,保证了任务处理的实时性;此外本发明设计均严格控制在带宽约束下,保证了调度的可靠性。
附图说明
图1是实施例一提供的一种边缘计算网络中基于数据流的任务卸载方法流程图;
图2是实施例一提供的多用户多任务的任务场景示意图;
图3是实施例一提供的服务器选择重复优先算法示意图;
图4是实施例一提供的服务器选择重复优先算法示意图;
图5是实施例一提供的服务器选择重复优先算法示意图;
图6是实施例一提供的服务器选择重复优先算法示意图;
图7是实施例二提供的一种边缘计算网络中基于数据流的任务卸载系统结构图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
本发明的目的是针对现有技术的缺陷,提供了一种边缘计算网络中基于数据流的任务卸载方法及系统。
实施例一
本实施例一提供一种边缘计算网络中基于数据流的任务卸载方法,如图1所述,包括步骤:
S11.根据不同任务的决策需求生成相对应的决策模型;所述决策模型包括特征数据流;
S12.计算所述不同决策模型中特征数据流的重复率,并筛选出与所述重复率相对应的特征数据流的任务,根据所述筛选出的任务生成卸载请求;
S13.将筛选出的任务中重复的特征数据流进行排序;
S14.将所述排序后的特征数据流依次排入调度表中进行传输。
在本实施例中,由于现有工业物联网任务中,传感器的任务较为普及,多传感器共用于同一生产线上收集不同参数信息的场景较为常见,同时传感器作为用户端收集的特征数据不全且计算能力有限,为得到某一任务决策结果需要将多个用户端数据卸载到MEC服务器进行计算。同时大数据背景下,利用多任务共存,并行计算等方式满足高实时性需要的场景较多。因此,本发明主要基于多用户多任务,MEC服务器能同时收到多个用户提交的计算卸载请求,并提供并行接收服务。
在步骤S11中,根据不同任务的决策需求生成相对应的决策模型;所述决策模型包括特征数据流。
MEC服务器依据不同任务的决策需求,生成相应的决策模型,用户端收集特征数据流并将同一任务对应的特征数据流归为一个特征数据流组。在本实施例中,决策模型包括决策树。
具体地,步骤S11中依据不同任务的决策需求,制定相应的决策树具体步骤为:
S111.接收用户端收集并上传的任务数据;
某一周期内用户端收集生产线数据并全部上传至MEC服务器上。
S112.将所述接收到的任务数据转换为决策需求,并生成相对应的决策模型;
MEC服务器依据多任务的决策数据及结果,制定相应的决策树。
S113.将所述任务中的特征数据流整理为组;
整理该任务涉及到的特征编为一组;
aw={f1,f2……fqn}
其中,aw表示任务,Fm表示特征数据流组,Fm={f1,f2……fqn}。
重复上述步骤,生成所有任务的决策树并整理。
S114.计算任务中的特征数据流的重复率。
计算任意K个任务的特征数据流重复率。
在步骤S12中,计算所述不同决策模型中特征数据流的重复率,并筛选出与所述重复率相对应的特征数据流的任务,根据所述筛选出的任务生成卸载请求。
具体地,用户端选择重复率最高的任务向服务器发送计算卸载请求,且计算卸载请求为:
[Bi,di,u]
其中,Bi表示特征fi调度到边缘服务器e上所需带宽;di表示特征数据流fi的数据量;u表示任务所需特征数据流的重复率;考虑A={a1,a2…an}为一个数量为n的任务集合,每个任务aw都含有qn个特征数据流,由Fm={f1,f2……fqn}表示,每个fi∈Fm,fi常用[Bi,di]表示。
在本实施例中,步骤S13之前还包括:
判断所述筛选出任务的特征数据流的重复率是否大于重复率阈值。
在步骤S13中,将筛选出的任务中重复的特征数据流进行排序。
在步骤S14中,将所述排序后的特征数据流依次排入调度表中进行传输。
在本实施例中将筛选出的任务中重复的特征数据流进行排序包括依据调度算法进行排序和依据决策模型进行拓扑排序。
服务器按重复率选择调度算法,接收任务所包含的特征数据组。
具体地,所述选择调度算法的具体步骤为:
S131、服务器根据不同重复率下两种调度算法的执行时间比较确定一个重复率阈值THR
S132、服务器对当前重复率进行计算,如果重复率大于重复率阈值THR,则采用重复优先算法,否则使用TMF算法。
TMF算法为拓扑排序及预期最小完成时间优先联合算法(Topological sort andExpected Minimum completion time First)。
具体地,所述确定重复率阈值THR步骤为:
边缘服务器通过随机数组在不同重复率下用两种调度算法进行运算,对比执行时间得到一个重复率阈值THR
具体地,重复率为:
Figure GDA0004092807670000071
其中,Aj表示边缘服务器某一时刻j接收计算卸载请求的任务集合;
Figure GDA0004092807670000072
为Aj中特征数据流组数据量之和;dq为Aj中重复特征数据流的数据量之和。
具体地,所述调度算法的具体步骤为:
(1)将边缘服务器的存储器初始化为空;
(2)对服务器将要接收的多个特征数据流组的重复率进行计算,选择重复率最高的K个任务进行计算卸载服务。K由MEC服务器内核并行处理能力决定。
(3)计算K个特征数据流组中各个特征数据流的预期最小传输时间
Figure GDA0004092807670000073
(4)如果重复率高于阈值选择的调度算法为重复优先算法,则将选定的K个特征数据流组中重复特征数据流按预期最小传输时间由小到大进行排序,依次排入调度表中(满足带宽限制的情况下可并行传输);
(5)当并行计算的某个特征数据流完成传输,则选择剩余特征数据流中预期最小传输时间最小的特征数据流排入调度表中(满足带宽限制)。若不满足带宽限制则安排预期最小传输时间第二小的特征数据流排入调度表中,以此类推,直到该服务器要接收的多特征数据流组中各个特征数据全部传输完成;
(6)如果重复率低于阈值选择调度算法为TMF算法,则把服务器即将接收K个特征数据流组中的特征依据决策树模型进行拓扑排序,依次排入调度表中(满足带宽限制的情况下可并行传输);
(7)当并行传输的某个特征完成传输,则选择剩余特征中拓扑排序靠前的特征排入调度表中。注意当遇到同一位次有多个特征可供选择时,将这些特征中预期最小传输时间的特征数据流排入调度表中(满足带宽限制)。若不满足带宽限制则将该位次下预期最小传输时间第二小的特征数据流排入调度表中,以此类推,直到该服务器把将要接收的多特征数据流组中全部特征数据流传输完成。
在本实施例中,还包括步骤:S15.计算传输中任务的完成时间。
服务器计算任务的累积完成时间,以及计算多任务平均完成时间。
具体地,调度表为:
Figure GDA0004092807670000081
其中,
Figure GDA0004092807670000082
表示第m个特征数据流传输开始时间;
Figure GDA0004092807670000083
表示第m个特征数据流传输结束时间。在不同计算调度方案中,fi的卸载顺序不同,因此引入次序的概念,用字母m表示。
Figure GDA0004092807670000084
Figure GDA0004092807670000085
具体地,所述决策时间为:
Figure GDA0004092807670000086
其中,
Figure GDA0004092807670000087
表示n个任务的对应决策时间。
计算多个任务各自完成时间的平均值为:
Figure GDA0004092807670000088
满足带宽限制为:
Figure GDA0004092807670000089
其中,Fb表示并行计算的数据流集合。
如图2所示为多用户多任务的任务场景示意图,对本实施例中的一种工业智能边缘计算中基于数据流相关性的任务卸载方法进行说明。
假设场景中有1个双核MEC服务器,可同时对两个任务同时提供计算卸载服务。传输带宽B上限为150Mbps,其传输速率为10MB/s。有3个任务,分别为a1,a2,a3,其包含的特征分别为:
a1=(f1,f2,f3),a2=(f2,f3,f4),a3=(f3,f4,f5)
其中f1=[100,100],f2=[50,30],f3=[30,20],f4=[80,110],f5=[10,50],简单计算可得每个特征的预期最小完成时间为:
δ1=1,δ2=0.6,δ3=0.66,δ4=1.47,δ5=5(单位s)
重复率:
Figure GDA0004092807670000091
Figure GDA0004092807670000092
根据以上计算,选择任务二和任务三优先进行计算卸载。
一、若服务器选择重复优先算法
a2和a3的重复特征为f3和f4,由于B31+B41=30+80≤150,f3和f4可并行卸载到MEC服务器,我们将f3和f4排入调度表;两个单位时间后f3传输终止,剩余f2和f5中,由于0.6=δ2<δ5=5,同时B41+B21=80+50≤150,故将f2排入调度表,与f4并行卸载;三个单位时间后f2传输终止,仅剩余f5,由于B41+B51=80+10≤150,故将f5排入调度表,与f4并行卸载;五个单位时间后f5传输终止,剩余f4自行传输一个时间单位,此时a2和a3没有特征数据需要卸载到MEC服务器上,调度结束。
由以上信息可知,特征f2,f3,f4,f5的计算卸载调度表分别为:
[2,5,a2],[0,2,(a2/a3)],[0,11,(a2/a3)],[5,10,a3]
因此,如图3所示,a2和a3在重复优先的调度方式下的完成时间分别为11s和11s,平均完成时间为11s。
二、若服务器选择TMF算法
a2和a3的特征经拓扑排序,可得f2→f3→f4/f5。由于
B21+B31=50+30≤150,f2和f3可并行卸载到MEC服务器,我们将f2和f3排入调度表;两个单位时间后f3传输终止,剩余f4和f5中,由于1.47=δ4<δ5=5,同时B41+B21=80+50≤150,故将f4排入调度表,与f2并行卸载;一个单位时间后f2传输终止,仅剩余f5,由于B41+B51=80+10≤150,故将f5排入调度表,与f4并行卸载;五个单位时间后f5传输终止,剩余f4自行传输1个时间单位,此时a2和a3没有特征数据需要卸载到MEC服务器上,调度结束。
由以上信息可知,,特征f2,f3,f4,f5的计算卸载调度表分别为:
[0,3,a2],[0,2,(a2/a3)],[2,13(a2/a3)],[3,8,a3]
因此,如图4所示,a2和a3在TMF算法的调度方式下的完成时间分别为13s和13s,平均完成时间为13s。
显然此时重复率较大为61.9%时,使用重复优先的算法可以使任务的平均完成时间更少。
在本实施例中,在同样场景下,假设a2已经被其他服务器接收,我们要求服务器同时接收a1和a3这两个任务。
一、若服务器选择重复优先算法
a1和a3的重复特征为f3,由于0.6=δ2<δ3=0.66<δ1=1<δ4=1.47<δ5=5,根据选取最小瓶颈因子对应的特征原则,同时B21+B31=50+30≤150,f2和f3可并行卸载到MEC服务器,我们将f2和f3排入调度表;两个单位时间后f3传输终止,剩余f1、f4和f5中,由于1=δ1<δ4=1.47<δ5=5,同时B11+B21=100+50≤150,故将f1排入调度表,与f2并行卸载;一个单位时间后f2传输终止,剩余f4和f5,由于1.47=δ4<δ5=5,但B11+B41=100+80>150,f1与f4不能在带宽约束下并行计算,故将f5排入调度表,与f1并行卸载;五个单位时间后f5传输终止,剩余f1自行传输四个时间单位,待f1传输终止,f4自行传输十一个单位时间。此时a1和a3没有特征数据需要卸载到MEC服务器上,调度结束。
由以上信息可知,特征f1,f2,f3,f4,f5的计算卸载调度表分别为:
[2,12,a1],[0,3,a1],[0,2,(a1/a3)],[12,23,a3],[3,8,a3]
因此,如图5所示,a1和a3在重复优先的调度方式下的完成时间分别为12s和23s,平均完成时间为17.5s。
二、若服务器选择TMF算法
a1和a3的特征经拓扑排序,可得f1→f3→f2/f4/f5。由于B11+B31=100+30≤150,f1和f3可并行卸载到MEC服务器,我们将f1和f3排入调度表;两个单位时间后f3传输终止,剩余f2,f4,f5中,由于0.6=δ2<δ4=1.47<δ5=5,同时B11+B21=100+50≤150,故将f2排入调度表,与f1并行卸载;三个单位时间后f2传输终止,剩余f4,f5,尽管1.47=δ4<δ5=5,但B11+B41=100+80>150,f1与f4不能在带宽约束下并行计算,故将f5排入调度表,与f1并行卸载;五个单位时间后同时传输完成,剩余f4自行传输十一个时间单位,此时a1和a3没有特征数据需要卸载到MEC服务器上,调度结束。
由以上信息可知,特征f1,f2,f3,f4,f5的计算卸载调度表分别为:
[0,10,a1],[2,5,a1],[0,2,(a1/a3)],[10,21,a3],[5,10,a3]
因此,如图6所示,a1和a3在TMF算法的调度方式下的完成时间分别为10s和21s,平均完成时间为15.5s。
显然此时重复率较小为6.4%时,使用TMF算法可以使任务的平均完成时间更少。
本实施例使得MEC服务器在多任务并存的场景下满足用户QOS的计算卸载;本实施例采用拓扑排序、决策树等方式寻求任务相关性,避免无关数据上传、多任务场景下重复数据多次上传及无序卸载导致的缓存过多,存储器容量不足等问题;本实施例通过运用边缘服务器上并行计算的方式缩减时间。满足工业大数据背景下的实时性需求;本实施例还设计了两种调度算法,分别对应多任务决策所需特征数据重复率高和低的两种不同场景下所采用的计算卸载算法,保证了任务处理的实时性;此外本发明设计均严格控制在带宽约束下,保证了调度的可靠性。
实施例二
本实施例二提供一种边缘计算网络中基于数据流的任务卸载系统,如图7所示,包括:
生成模块11,用于根据不同任务的决策需求生成相对应的决策模型;所述决策模型包括特征数据流;
第一计算模块12,用于计算所述不同决策模型中特征数据流的重复率,并筛选出与所述重复率相对应的特征数据流的任务,根据所述筛选出的任务生成卸载请求;
排序模块13,用于将筛选出的任务中重复的特征数据流进行排序;
传输模块14,用于将所述排序后的特征数据流依次排入调度表中进行传输。
进一步的,还包括:
判断模块,用于判断所述筛选出任务的特征数据流的重复率是否大于重复率阈值。
进一步的,所述排序模块中将筛选出的任务中重复的特征数据流进行排序包括采用重复优先算法和TMF算法。
进一步的,还包括步骤:
第二计算模块,用于计算传输中任务的完成时间。
进一步的,所述生成模块包括:
接收模块,用于接收用户端收集并上传的任务数据;
转换模块,用于将所述接收到的任务数据转换为决策需求,并生成相对应的决策模型;
整理模块,用于将所述任务中的特征数据流整理为组;
第三计算模块,用于计算任务中的特征数据流的重复率。
需要说明的是,本实施例提供的一种边缘计算网络中基于数据流的任务卸载系统与实施例一类似,在此不多做赘述。
与现有技术相比,本发明使得MEC服务器在多任务并存的场景下满足用户QOS的计算卸载;本发明采用拓扑排序、决策树等方式寻求任务相关性,避免无关数据上传、多任务场景下重复数据多次上传及无序卸载导致的缓存过多,存储器容量不足等问题;本发明通过运用边缘服务器上并行计算的方式缩减时间。满足工业大数据背景下的实时性需求;本发明还设计了两种调度算法,分别对应多任务决策所需特征数据重复率高和低的两种不同场景下所采用的计算卸载算法,保证了任务处理的实时性;此外本发明设计均严格控制在带宽约束下,保证了调度的可靠性。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种边缘计算网络中基于数据流的任务卸载方法,其特征在于,包括步骤:
S1.根据不同任务的决策需求生成相对应的决策模型;决策模型包括特征数据流;
S2.计算不同决策模型中特征数据流的重复率,并筛选出与重复率相对应的特征数据流的任务,根据筛选出的任务生成卸载请求;
S3.将筛选出的任务中重复的特征数据流进行排序;
S4.将排序后的特征数据流依次排入调度表中进行传输;
步骤S3中将筛选出的任务中重复的特征数据流进行排序包括采用重复优先算法或TMF算法,具体步骤为:
(1)将边缘服务器的存储器初始化为空;
(2)对服务器将要接收的多个特征数据流组的重复率进行计算,选择重复率最高的K个任务进行计算卸载服务;
(3)计算K个特征数据流组中各个特征数据流的预期最小传输时间;
(4)如果重复率高于阈值,选择重复优先算法,则将选定的K个特征数据流组中重复特征数据流按预期最小传输时间由小到大进行排序,依次排入调度表中;
(5)当并行计算的某个特征数据流完成传输,则选择剩余特征数据流中预期最小传输时间最小的特征数据流排入调度表中;若不满足带宽限制,则安排预期最小传输时间第二小的特征数据流排入调度表中,以此类推,直到该服务器要接收的多特征数据流组中各个特征数据全部传输完成;
(6)如果重复率低于阈值,选择TMF算法,则把服务器即将接收K个特征数据流组中的特征依据决策树模型进行拓扑排序,依次排入调度表中;
(7)当并行传输的某个特征完成传输,则选择剩余特征中拓扑排序靠前的特征排入调度表中;当遇到同一位次有多个特征可供选择时,将这些特征中预期最小传输时间的特征数据流排入调度表中;若不满足带宽限制,则将该位次下预期最小传输时间第二小的特征数据流排入调度表中,以此类推,直到该服务器把将要接收的多特征数据流组中全部特征数据流传输完成。
2.根据权利要求1所述的一种边缘计算网络中基于数据流的任务卸载方法,其特征在于,还包括步骤:
S5.计算传输中任务的完成时间。
3.根据权利要求2所述的一种边缘计算网络中基于数据流的任务卸载方法,其特征在于,步骤S1包括步骤:
S11.接收用户端收集并上传的任务数据;
S12.将接收到的任务数据转换为决策需求,并生成相对应的决策模型;
S13.将任务中的特征数据流整理为组;
S14.计算任务中的特征数据流的重复率。
4.一种边缘计算网络中基于数据流的任务卸载系统,其特征在于,包括:
生成模块,用于根据不同任务的决策需求生成相对应的决策模型;所述决策模型包括特征数据流;
第一计算模块,用于计算不同决策模型中特征数据流的重复率,并筛选出与重复率相对应的特征数据流的任务,根据筛选出的任务生成卸载请求;
排序模块,用于将筛选出的任务中重复的特征数据流进行排序;
传输模块,用于将排序后的特征数据流依次排入调度表中进行传输;
所述排序模块中,将筛选出的任务中重复的特征数据流进行排序包括采用重复优先算法或TMF算法,具体是:
(1)将边缘服务器的存储器初始化为空;
(2)对服务器将要接收的多个特征数据流组的重复率进行计算,选择重复率最高的K个任务进行计算卸载服务;
(3)计算K个特征数据流组中各个特征数据流的预期最小传输时间;
(4)如果重复率高于阈值,选择重复优先算法,则将选定的K个特征数据流组中重复特征数据流按预期最小传输时间由小到大进行排序,依次排入调度表中;
(5)当并行计算的某个特征数据流完成传输,则选择剩余特征数据流中预期最小传输时间最小的特征数据流排入调度表中;若不满足带宽限制,则安排预期最小传输时间第二小的特征数据流排入调度表中,以此类推,直到该服务器要接收的多特征数据流组中各个特征数据全部传输完成;
(6)如果重复率低于阈值,选择TMF算法,则把服务器即将接收K个特征数据流组中的特征依据决策树模型进行拓扑排序,依次排入调度表中;
(7)当并行传输的某个特征完成传输,则选择剩余特征中拓扑排序靠前的特征排入调度表中;当遇到同一位次有多个特征可供选择时,将这些特征中预期最小传输时间的特征数据流排入调度表中;若不满足带宽限制,则将该位次下预期最小传输时间第二小的特征数据流排入调度表中,以此类推,直到该服务器把将要接收的多特征数据流组中全部特征数据流传输完成。
5.根据权利要求4所述的一种边缘计算网络中基于数据流的任务卸载系统,其特征在于,还包括步骤:
第二计算模块,用于计算传输中任务的完成时间。
6.根据权利要求5所述的一种边缘计算网络中基于数据流的任务卸载系统,其特征在于,所述生成模块包括:
接收模块,用于接收用户端收集并上传的任务数据;
转换模块,用于将接收到的任务数据转换为决策需求,并生成相对应的决策模型;
整理模块,用于将任务中的特征数据流整理为组;
第三计算模块,用于计算任务中的特征数据流的重复率。
CN201911126317.9A 2019-11-06 2019-11-18 一种边缘计算网络中基于数据流的任务卸载方法及系统 Active CN110928599B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911075735X 2019-11-06
CN201911075735 2019-11-06

Publications (2)

Publication Number Publication Date
CN110928599A CN110928599A (zh) 2020-03-27
CN110928599B true CN110928599B (zh) 2023-04-18

Family

ID=69854119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911126317.9A Active CN110928599B (zh) 2019-11-06 2019-11-18 一种边缘计算网络中基于数据流的任务卸载方法及系统

Country Status (1)

Country Link
CN (1) CN110928599B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988275B (zh) * 2021-03-26 2022-10-14 河海大学 一种基于任务感知的移动边缘计算多用户计算卸载方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924198A (zh) * 2018-06-21 2018-11-30 中国联合网络通信集团有限公司 一种基于边缘计算的数据调度方法、装置及系统
CN109067842A (zh) * 2018-07-06 2018-12-21 电子科技大学 面向车联网的计算任务卸载方法
CN109819030A (zh) * 2019-01-22 2019-05-28 西北大学 一种基于边缘计算的数据资源预先调度方法
CN109814951A (zh) * 2019-01-22 2019-05-28 南京邮电大学 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN110109745A (zh) * 2019-05-15 2019-08-09 华南理工大学 一种针对边缘计算环境的任务协同在线调度方法
CN110287024A (zh) * 2019-06-12 2019-09-27 浙江理工大学 一种工业智能边缘计算中面向多服务器多用户的调度方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10484451B2 (en) * 2016-10-18 2019-11-19 Huawei Technologies Co., Ltd. Virtual network state management in mobile edge computing
US11094193B2 (en) * 2018-06-28 2021-08-17 Intel Corporation Real-time vehicle-based data gathering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924198A (zh) * 2018-06-21 2018-11-30 中国联合网络通信集团有限公司 一种基于边缘计算的数据调度方法、装置及系统
CN109067842A (zh) * 2018-07-06 2018-12-21 电子科技大学 面向车联网的计算任务卸载方法
CN109819030A (zh) * 2019-01-22 2019-05-28 西北大学 一种基于边缘计算的数据资源预先调度方法
CN109814951A (zh) * 2019-01-22 2019-05-28 南京邮电大学 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN110109745A (zh) * 2019-05-15 2019-08-09 华南理工大学 一种针对边缘计算环境的任务协同在线调度方法
CN110287024A (zh) * 2019-06-12 2019-09-27 浙江理工大学 一种工业智能边缘计算中面向多服务器多用户的调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭煜 ; .移动边缘计算中带有缓存机制的任务卸载策略.计算机应用与软件.2019,(06),全文. *

Also Published As

Publication number Publication date
CN110928599A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110493360B (zh) 多服务器下降低系统能耗的移动边缘计算卸载方法
CN111240701B (zh) 一种端-边-云协同计算的任务卸载优化方法
CN112882815B (zh) 基于深度强化学习的多用户边缘计算优化调度方法
CN108833996B (zh) 分布式dash系统中服务节点选择、更新和码率自适应方法
US7738406B2 (en) Models for routing tree selection in peer-to-peer communications
CN110069341B (zh) 边缘计算中结合功能按需配置的有依赖关系任务的调度方法
CN113220356B (zh) 一种移动边缘计算中的用户计算任务卸载方法
CN114528092A (zh) 边缘节点任务调度方法、装置、计算机设备和存储介质
CN108924254B (zh) 以用户为中心的分布式多用户计算任务卸载方法
WO2011002430A1 (en) Method and apparatus for peer-to-peer streaming of layered content
CN113961264B (zh) 一种面向视频监控云边协同的智能卸载算法与系统
CN110928599B (zh) 一种边缘计算网络中基于数据流的任务卸载方法及系统
CN112040512B (zh) 一种基于公平的雾计算任务卸载方法及系统
Elgabli et al. SmartStreamer: Preference-aware multipath video streaming over MPTCP
CN112860337A (zh) 在多接入边缘计算中卸载依赖任务的方法及系统
Chao et al. AMVP: Adaptive CNN-based multitask video processing on mobile stream processing platforms
CN111866438B (zh) 用户体验驱动的多方视频会议的转码和组播路由方法及装置
Sharara et al. A recurrent neural network based approach for coordinating radio and computing resources allocation in cloud-ran
CN104967868B (zh) 视频转码方法、装置和服务器
CN112084034A (zh) 一种基于边缘平台层调节系数的mct调度方法
CN116647507A (zh) 基于负载自适应的物联网数据处理方法及系统
CN108391142B (zh) 一种视频增强的方法及相关设备
CN113098791B (zh) 一种多业务网络流的成分占比分析方法
Michael et al. Approximation algorithms for the optimal distribution of real-time stream-processing services
Beaumont et al. Independent and divisible tasks scheduling on heterogeneous star-shaped platforms with limited memory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant