CN112995023B - 一种多接入边缘计算网络计算卸载系统及其计算卸载方法 - Google Patents
一种多接入边缘计算网络计算卸载系统及其计算卸载方法 Download PDFInfo
- Publication number
- CN112995023B CN112995023B CN202110231691.6A CN202110231691A CN112995023B CN 112995023 B CN112995023 B CN 112995023B CN 202110231691 A CN202110231691 A CN 202110231691A CN 112995023 B CN112995023 B CN 112995023B
- Authority
- CN
- China
- Prior art keywords
- task
- calculation
- unloading
- computing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/08—Load balancing or load distribution
- H04W28/082—Load balancing or load distribution among bearers or channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/16—Gateway arrangements
Abstract
本发明涉及一种多接入边缘计算网络计算卸载系统及其计算卸载方法。一种多接入边缘计算网络计算卸载系统,基于算力网络图的多接入边缘计算网络计算卸载系统包括云端服务器、边缘智能网关和输入设备;一种多接入边缘计算网络计算卸载方法,通过采集用户数据,建立数据模型,任务调度客户端将处理结果上传至云端的展示平台进行展示。计算卸载的优化问题以全网络中计算任务的完成时延最小为优化目标,为用户提供了良好的用户体验与服务质量;计算卸载的优化算法为一种多项式时间复杂度的理论最优算法,为计算卸载对的最终效果提供了稳定的效用保证。
Description
技术领域
本发明涉及无线通信技术领域,特别是涉及一种多接入边缘计算网络计算卸载系统及其计算卸载方法。
背景技术
为满足5G应用场景的低时延需求,边缘智能成为趋势。Seagate和IDC的一项研究表明,到2020年,全球每年云计算流量将超过14ZB;到2025年,全球数据量将会从2016年的16ZB上升至163ZB。“终端+数据中心”的两级处理已无法满足数据持续增长的智能社会的要求。算力需求将从云、端扩散至网络边缘,形成“终端+边缘+数据中心”的三级架构。移动边缘计算通过在接近终端的边缘侧部署服务器,降低网络发生拥塞的可能性,减少网络响应的时延,提升用户体验与网络效率,得到了深入研究与广泛应用。作为边缘计算网络的核心部分,计算卸载技术起着关键作用。在传统的计算卸载算法中,当不同的用户终端同时提出计算任务需求时,由于计算节点缺乏协同能力,没有统一的机制能结合网络负载与需求特性,动态调度计算任务,灵活分配网络资源,因此,部分边缘节点会出现计算过载的现象,用户体验下降。随着对计算卸载技术研究的深入,结合网络性能数据与计算任务特征,设计一套完整的资源协同编排策略,对所有计算节点的资源分配策略进行统一的规划与决策,更好地结合用户终端的计算任务特性,对业务需求进行预判,为计算节点分配合理的算力资源,进而为用户提供差异化的定制服务,实现网络资源的弹性分配,最大化网络资源利用率。
发明内容
针对现有技术的空白,本发明提供了一种多接入边缘计算网络计算卸载的系统及方法,可以结合网络状况与任务特性,将计算任务调度至最佳的计算节点,实现网络的负载均衡,保证良好的用户体验。
本发明的具体技术方案如下:
一种多接入边缘计算网络计算卸载系统,包括云端服务器、边缘智能网关和输入设备,其中:
云端服务器,云端服务器上部署多个与计算卸载相关的模块,用于提供容器集群调度、网络性能监控、算力网络图生成与分发,其中,云端服务器上运行的容器集群调度模块负责对各个边缘节点(边缘智能网关)上部署的容器进行管理,提供基础的负载均衡、弹性伸缩;云端服务器上运行的网络性能监控模块,用于定时收集各个边缘节点(边缘智能网关)提供的网络性能数据(包括但不限于CPU占用情况、内存占用情况、HTTP连接数)并进行统一整理,提供一系列数据接口供其它程序调用;云端服务器上运行的算力网络图模块提供进行算力网络图生成与分发,用于将网络监控模块提供的网络性能数据通过程序接口获取后封装为算力网络图结构,并通过通信协议将最新的算力网络图分发给边端的算力网络图模块;
边缘智能网关,边缘智能网关上运行多个与计算卸载模块,每个计算卸载模块均以容器的形式部署,用于提供算力网络图存储、计算卸载、任务缓存与分发,其中,边缘智能网关上运行的算力网络图模块用于将从云端服务器上运行的算力网络图模块接收的算力网络图进行集中缓存;边缘智能网关上运行的计算卸载模块用于为边缘智能网关集群中到达的任务进行卸载并决定将当前任务迁移到对应的边缘智能网关上的任务处理模块上执行,并将决策结果发送至任务调度客户端,整个集群只需要有一个计算卸载模块处于开启状态即可;边缘智能网关上运行的任务调度客户端模块用于对输入设备的输入数据进行任务识别、任务分类与数据缓存,向计算卸载模块发送任务到达信息,并从计算卸载模块接收计算卸载的结果;
输入设备,输入设备包括环境传感器、智能摄像头在内,环境传感器、智能摄像头用于对环境内容进行采集,通过SDK转换成可通过固定API接口调用或处理的数据;每个输入设备负责一种计算任务,不同的输入设备负责接收不同的输入数据,而不同的输入数据代表着不同的计算任务;将计算任务分为时延敏感任务与时延不敏感任务,时延敏感任务,其计算任务需要得到实时保证,其截止期限相对时延不敏感任务短;时延不敏感任务,其计算任务不需要得到实时保证,其截止期限相对时延敏感任务长。
本发明另提供一种多接入边缘计算网络计算卸载方法,具体包括以下步骤:
步骤1、在基于算力网络图的多接入边缘计算网络计算卸载系统中,有一个云端服务器与若干个边缘智能网关,云端服务器上部署着集群管理模块、网络监控模块、算力网络图模块,每个边缘智能网关上部署着算力网络图模块、计算卸载模块、任务调度客户端模块,云端服务器的容器集群调度模块与若干个边缘智能网关相连,负责对边缘智能网关上部署的容器进行调度;云端服务器的网络监控模块负责在各个节点收集节点监控数据,云端服务器的算力网络图模块定时从网络监控模块获取最新的网络监控数据并封装为算力网络图结构,将算力网络图分发给边缘智能网关上部署的算力网络图模块;
步骤2、边缘智能网关上部署的算力网络图模块将定时接收云端服务器上部署的算力网络图模块分发的算力网络图,并将其存储在算力网络图队列中,算力网络图队列为存储算力网络图结构体的数据结构;
步骤3、边缘智能网关的任务调度客户端模块接收输入设备采集的环境数据,并判断当前的数据是否可以看作计算任务的输入数据;
步骤3.1、当目前的环境数据可以看作计算任务的输入数据,则将这些环境数据进行缓存,并通过获取传输这些环境数据的输入设备的ID以确定对应的任务类型;设定N={n|1,2,...c}表示边缘智能网关集合,n表示边缘智能网关,c表示边缘智能网关数目;
步骤3.2、环境数据为由输入设备采集到的数据,包括图像、音频、示数,输入数据为一个计算任务执行所需要的数据,其中含有连续图像(用于目标识别)、非噪声的音频(用于自然语言处理)、示数序列(用于环境监测);
步骤4、在边缘智能网关上部署的任务调度客户端模块通过通信协议,向边缘智能网关的计算卸载模块发送计算卸载请求,并等待计算卸载模块的回复;
步骤5、在边缘智能网关上部署的计算卸载模块接收到任务调度客户端模块的计算卸载请求后,将请求加入卸载队列,并开始监听是否有其它计算卸载请求,记监听的时间间隙为一个监听时间帧;
步骤5.1、在监听时间帧的时隙范围内,计算卸载模块等待是否有其它计算卸载请求到达,当有其他计算卸载请求到达时,则将新到达任务的计算卸载请求加入卸载队列;
步骤5.2、卸载队列为存储计算卸载请求这一消息结构体的数据结构,监听时间帧的时隙长度称为冷却时间;
步骤6、在步骤5的基础上,当一帧间隔的时间帧结束后,边缘智能网关上部署的计算卸载模块从边缘智能网关上部署的算力网络图模块拉取最新的算力网络图,结合算力网络图的信息与计算卸载请求所提供的任务类型,计算卸载模块调用时延预测模型,生成计算卸载时延矩阵,M={m|1,2,...r}表示当前时间帧内共同进行计算卸载的计算任务集合,m表示计算任务,r表示计算任务数目,T={τm,n|m∈M,n∈N}表示计算卸载时延矩阵,τm,n表示将计算任务m卸载至边缘智能网关n的时延;
时延预测模型,包括传输时延的预测模型与处理时延的预测模型,记计算任务m卸载至边缘智能网关n的时延为τm,n,则该时延计算方法如公式(1):
在公式(1)中,τprof为任务特征数据上传时延,由于特征数据较小,τprof可忽略不计;τd为卸载算法执行时延,与算法的时间复杂度有关;τup为输入数据上传时延,与输入数据大小、信道速率有关;τwait为等待时延,与计算任务数有关;为卸载执行计算任务的处理时延,与工作量、本地节点计算速度有关;τdown为输出数据下载时延,由于下行链路质量较好,τdown可忽略不计;
在忽略掉极小的时延部分后,计算卸载时延计算方法如公式(2):
由于实际上用于传输时延、处理时延、并发用户数的参数并不容易获得,因此在实践中可以采取另一种方法对传输时延、处理时延进行求解,将距离计算任务m最近的边缘智能网关记为nm,根据发送数据大小为D0的数据包的时延求出由边缘智能网关nm至边缘智能网关n的平均传输速率进而可以求解出传输时延,其计算方法如公式(3):
处理时延与节点性能、任务特征、并发用户数(最大同时连接的IP数量)的若干类相关参数,记节点性能其包括计算资源F、存储资源C与I/O资源E;其中,计算与存储资源设置三个子参数:资源总量([·]s)、任务到达时的资源占用比例)、任务执行时任务的资源平均占用比例I/O资源设置两个子参数:任务到达时的I/O读写速度(E0)、任务执行时的I/O平均读写速度记任务特征S=(W,D),其包括任务工作量W为、输入数据大小D;其中,任务工作量与处理该任务所需算法的时间复杂度成正比;记K为并发用户数,表示每个节点允许同时执行任务的个数;通过一系列实际数据建立节点性能、任务特征、并发用户数与处理时延的关系,借助神经网络求解,如公式(4):
步骤7、在边缘智能网关上部署的计算卸载模块调用计算卸载时延矩阵,使用相应的计算卸载算法进行计算卸载决策;
步骤8、边缘智能网关上部署的计算卸载模块将计算卸载决策结果封装为计算卸载响应结构体,通过通信协议回传给边缘智能网关上部署的任务调度客户端模块,通信协议与步骤4中的通信协议一致;
步骤9、在边缘智能网关上部署的任务调度客户端模块根据获取的计算卸载响应数据所提供的目标节点IP地址,将缓存的计算任务输入数据通过通信协议传输至指定的边缘智能网关上部署的任务处理模块,在任务处理模块完成任务后回传计算结果,任务调度客户端将处理结果上传至云端的展示平台进行展示。
进一步地,在步骤1中,算力网络图,包括节点数据(Nodes)与边权数据(Links),其中,节点数据包括地址(IP,节点的IP地址)、计算资源(RestComputing,包括节点的核数、主频与计算资源占用比例)、存储资源(RestStorage,包括节点的存储资源总量与存储资源占用比例),边权数据(Links)包括上下游节点(NodeFrom/NodeTo,上下游节点的IP地址)、信道速率(Rate,链路的上行速率)、连接时延(EsDelay,建立socket连接的时延)。
进一步地,在步骤2中,存储算力网络图的算力网络图队列,其长度记为L,边缘智能网关上部署的算力网络图只会存储近L个算力网络图数据。
进一步地,在步骤3中,提出的识别环境数据是否为输入数据的算法,应与具体的计算任务相适配,不同ID的输入设备负责接收不同计算任务的输入数据,任务调度客户端可以依据输入设备的设备ID确定执行的算法。
进一步地,在步骤4中,通信协议默认为gRPC协议。
进一步地,在步骤4中,计算卸载请求,应包括任务ID(ID)、任务类型(Type)、传输该请求的边缘智能网关的IP地址(ArriveAt)。
进一步地,在步骤5中,冷却时间,其默认值为20ms,在实际使用时,冷却时间的大小可以根据应用场景中的计算任务类型灵活调整,以最大化计算卸载的效率。
进一步地,在步骤7中,计算卸载算法,其优化目标在于最小化整个边缘计算网络的任务执行时延的计算方法如公式(5):
计算卸载优化目标的约束条件计算方法如公式(6):
约束条件C1限定了执行时延不能超过计算任务的截止期限;约束条件C2限定了每个计算任务只能被调度到一个边缘智能网关的任务处理模块;约束条件C3限定了每个任务能分配的计算资源量由节点指定;约束条件C4限定了决策变量为0-1变量。
进一步地,在步骤8中,计算卸载响应,包括任务ID、任务类型(Type)、传输该请求的边缘智能网关的IP地址(ArriveAt)、拟卸载到边缘智能网关的IP地址(OffloadTo)、计算卸载性能评估(Evaluation)的信息。
本发明所述的多接入边缘计算网络计算卸载系统及其计算卸载方法,具有以下有益效果:
在本发明的技术方案中,由各个边缘智能网关的节点监控模块定时对所在边缘智能网关的性能信息进行全面细致分析,可以对节点的负载情况得到一个综合的评估;云端服务器的网络监控模块定时从各边缘智能网关的节点监控模块拉取节点性能数据并汇集为网络性能数据,为云端的算力网络图模块提供了有效的数据支持;云端的算力网络图模块通过封装网络性能数据得到算力网络图并分发至各边缘节点,为计算卸载的高效执行提供了实时、高效的网络性能支撑;计算卸载的时延预测模型通过基于实际数据预训练神经网络参数,并将训练模型持久化于计算卸载模块内部中,既保证了预测的快速性与准确性,也为任务处理时延的预测机制提供了扎实的理论基础;计算卸载的并发处理机制保证在一定时间间隔内到达的任务进行联合计算卸载,大大减轻了计算卸载模块的运算压力;计算卸载的优化问题以全网络中计算任务的完成时延最小为优化目标,为用户提供了良好的用户体验与服务质量;计算卸载的优化算法为一种多项式时间复杂度的理论最优算法,为计算卸载对的最终效果提供了稳定的效用保证。
当然,实施本发明的任一产品或方法不一定需要同时达到以上的所有优点。
附图说明
图1为本发明多接入边缘计算网络计算的卸载系统的结构连接关系示意图;
图2为基于图1所示的多接入边缘计算网络计算的卸载系统在实际应用中的场景图;
图3为本发明多接入边缘计算网络计算卸载的方法中步骤2的流程图;
图4为本发明多接入边缘计算网络计算卸载的方法中步骤3的流程图;
图5为本发明多接入边缘计算网络计算卸载的方法中步骤4的流程图;
具体实施方式
下面结合说明书附图和具体实施方式,对本发明的技术方案做进一步详细说明。
如图1和图2所示,一种多接入边缘计算网络计算卸载的系统,基于算力网络图的多接入边缘计算网络计算卸载的系统包括云端服务器、边缘智能网关和输入设备,其中:
云端服务器,其上部署若干与计算卸载相关的模块,用于提供容器集群调度、网络性能监控、算力网络图生成与分发等功能,容器集群调度负责对各个边缘节点(边缘智能网关)上部署的容器进行统一管理,提供基础的负载均衡、弹性伸缩等功能;网络性能监控是云端服务器上运行的网络监控模块提供的功能,用于定时收集各个边缘节点(边缘智能网关)提供的网络性能数据(包括但不限于CPU占用情况、内存占用情况、HTTP连接数)并进行统一整理,提供一系列数据接口供其它程序调用;云端服务器上运行的算力网络图模块提供进行算力网络图生成与分发,用于将网络监控模块提供的网络性能数据通过程序接口获取后封装为算力网络图结构,并通过通信协议将最新的算力网络图分发给边端的算力网络图模块;
若干个边缘智能网关,其上运行若干与计算卸载相关的模块,每个模块均以容器的形式部署,用于提供算力网络图存储、计算卸载、任务缓存与分发的功能,其中,算力网络图存储是边缘智能网关上运行的算力网络图模块提供的功能,用于将从云端的算力网络图模块接收的算力网络图进行集中缓存;计算卸载是边缘智能网关上运行的计算卸载模块提供的功能,用于为边缘智能网关集群中到达的任务进行卸载决策,决定将当前任务迁移到哪个边缘智能网关的任务处理模块上执行,并将决策结果发送至任务调度客户端,整个集群只需要有一个计算卸载模块处于开启状态即可;任务缓存与分发是边缘智能网关上运行的任务调度客户端模块提供的功能,用于对输入设备的输入数据进行任务识别、任务分类与数据缓存,向计算卸载模块发送任务到达信息,并从计算卸载模块接收计算卸载的结果;
若干种输入设备,包括环境传感器、智能摄像头在内的输入设备,用于对环境内容进行采集,通过SDK转换成可通过固定API接口调用或处理的数据;每个输入设备负责一种计算任务,即为不同的输入设备负责接收不同的输入数据,而不同的输入数据代表着不同的计算任务;将计算任务分为时延敏感任务与时延不敏感任务,时延敏感任务,其计算任务需要在得到实时保证,其截止期限相对时延不敏感任务短;时延不敏感任务,其计算任务不需要得到实时保证,,其截止期限相对时延敏感任务长。
如图3至图5所示,基于本发明公开的系统,本发明提供了一种多接入边缘计算网络计算卸载的方法,具体包括以下步骤:
步骤1、在基于算力网络图的多接入边缘计算网络计算卸载系统中,有一个云端服务器与若干个边缘智能网关,云端服务器上部署着集群管理模块、网络监控模块、算力网络图模块等功能模块,每个边缘智能网关上部署着算力网络图模块、计算卸载模块、任务调度客户端模块,云端服务器的容器集群调度模块与若干个边缘智能网关相连,负责对边缘智能网关上部署的容器进行调度;云端服务器的网络监控模块负责在各个节点收集节点监控数据,云端服务器的算力网络图模块定时从网络监控模块获取最新的网络监控数据并封装为算力网络图结构,将算力网络图分发给边缘智能网关上部署的算力网络图模块;
步骤2、边缘智能网关上部署的算力网络图模块将定时接收云端服务器上部署的算力网络图模块分发的算力网络图,并将其存储在算力网络图队列中,算力网络图队列为存储算力网络图结构体的数据结构;
步骤3、边缘智能网关的任务调度客户端模块接收输入设备采集的环境数据,并判断当前的数据是否可以看作计算任务的输入数据;
步骤3.1、当目前的环境数据可以看作计算任务的输入数据,则将这些环境数据进行缓存,并通过获取传输这些环境数据的输入设备的ID以确定对应的任务类型;设定N={n|1,2,...c}表示边缘智能网关集合,n表示边缘智能网关,c表示边缘智能网关数目;
步骤3.2、环境数据为由输入设备采集到的数据,包括图像、音频、示数,输入数据为一个计算任务执行所需要的数据,其中含有连续图像(用于目标识别)、非噪声的音频(用于自然语言处理)、示数序列(用于环境监测);
步骤4、在边缘智能网关上部署的任务调度客户端模块通过通信协议,向边缘智能网关的计算卸载模块发送计算卸载请求,并等待计算卸载模块的回复;
步骤5、在边缘智能网关上部署的计算卸载模块接收到任务调度客户端模块的计算卸载请求后,将请求加入卸载队列,并开始监听是否有其它计算卸载请求,记监听的时间间隙为一个监听时间帧;
步骤5.1、在监听时间帧的时隙范围内,计算卸载模块等待是否有其它计算卸载请求到达(相当于步骤3、4),当有其他计算卸载请求到达时,则将新到达任务的计算卸载请求加入卸载队列;
步骤5.2、卸载队列为存储计算卸载请求这一消息结构体的数据结构,监听时间帧的时隙长度称为冷却时间;
步骤6、在步骤5的基础上,当一帧间隔的时间帧结束后,边缘智能网关上部署的计算卸载模块从边缘智能网关上部署的算力网络图模块拉取最新的算力网络图,结合算力网络图的信息与计算卸载请求所提供的任务类型,计算卸载模块调用时延预测模型,生成计算卸载时延矩阵,M={m|1,2,...r}表示当前时间帧内共同进行计算卸载的计算任务集合,m表示计算任务,r表示计算任务数目,T={τm,n|m∈M,n∈N}表示计算卸载时延矩阵,τm,n表示将计算任务m卸载至边缘智能网关n的时延;
时延预测模型,包括传输时延的预测模型与处理时延的预测模型,记计算任务m卸载至边缘智能网关n的时延为τm,n,则该时延计算方法如公式(1):
在公式(1)中,τprof为任务特征数据上传时延,由于特征数据较小,τprof可忽略不计;τd为卸载算法执行时延,与算法的时间复杂度有关;τup为输入数据上传时延,与输入数据大小、信道速率有关;τwait为等待时延,与计算任务数有关;为卸载执行计算任务的处理时延,与工作量、本地节点计算速度有关;τdown为输出数据下载时延,由于下行链路质量较好,τdown可忽略不计;
在忽略掉极小的时延部分后,计算卸载时延计算方法如公式(2):
由于实际上用于传输时延、处理时延、并发用户数的参数并不容易获得,因此在实践中可以采取另一种方法对传输时延、处理时延进行求解,将距离计算任务m最近的边缘智能网关记为nm,根据发送数据大小为D0的数据包的时延求出由边缘智能网关nm至边缘智能网关n的平均传输速率进而可以求解出传输时延,其计算方法如公式(3):
处理时延与节点性能、任务特征、并发用户数的若干类相关参数,记节点性能其包括计算资源F、存储资源C与I/O资源E。其中,计算与存储资源设置三个子参数:资源总量([·]s)、任务到达时的资源占用比例)、任务执行时任务的资源平均占用比例I/O资源设置两个子参数:任务到达时的I/O读写速度(E0)、任务执行时的I/O平均读写速度记任务特征S=(W,D),其包括任务工作量W为、输入数据大小D;其中,任务工作量与处理该任务所需算法的时间复杂度成正比;记K为并发用户数,表示每个节点允许同时执行任务的个数;通过一系列实际数据建立节点性能、任务特征、并发用户数与处理时延的关系,借助神经网络求解,如公式(4):
步骤7、在边缘智能网关上部署的计算卸载模块调用计算卸载时延矩阵,使用相应的计算卸载算法进行计算卸载决策;
步骤8、边缘智能网关上部署的计算卸载模块将计算卸载决策结果封装为计算卸载响应结构体,通过通信协议回传给边缘智能网关上部署的任务调度客户端模块,通信协议应与步骤4中的通信协议一致;
步骤9、在边缘智能网关上部署的任务调度客户端模块根据获取的计算卸载响应数据所提供的目标节点IP地址,将缓存的计算任务输入数据通过通信协议传输至指定的边缘智能网关上部署的任务处理模块,在任务处理模块完成任务后回传计算结果,任务调度客户端将处理结果上传至云端的展示平台进行展示。
进一步地,在步骤1中,算力网络图,包括节点数据(Nodes)与边权数据(Links),其中,节点数据包括地址(IP,节点的IP地址)、计算资源(RestComputing,包括节点的核数、主频与计算资源占用比例)、存储资源(RestStorage,包括节点的存储资源总量与存储资源占用比例),边权数据(Links)包括上下游节点(NodeFrom/NodeTo,上下游节点的IP地址)、信道速率(Rate,链路的上行速率)、连接时延(EsDelay,建立socket连接的时延)。
进一步地,在步骤2中,存储算力网络图的算力网络图队列,其长度记为L,边缘智能网关上部署的算力网络图只会存储近L个算力网络图数据。
进一步地,在步骤3中,提出的识别环境数据是否为输入数据的算法,应与具体的计算任务相适配,不同ID的输入设备负责接收不同计算任务的输入数据,任务调度客户端可以依据输入设备的设备ID确定执行的算法。
进一步地,在步骤4中,通信协议默认为gRPC协议。
进一步地,在步骤4中,计算卸载请求,应包括任务ID(ID)、任务类型(Type)、传输该请求的边缘智能网关的IP地址(ArriveAt)。
进一步地,在步骤5中,冷却时间,其默认值为20ms,在实际使用时,冷却时间的大小可以根据应用场景中的计算任务类型灵活调整,以最大化计算卸载的效率。
进一步地,在步骤7中,计算卸载算法,其优化目标在于最小化整个边缘计算网络的任务执行时延的计算方法如公式(5):
计算卸载优化目标的约束条件计算方法如公式(6):
约束条件C1限定了执行时延不能超过计算任务的截止期限;约束条件C2限定了每个计算任务只能被调度到一个边缘智能网关的任务处理模块;约束条件C3限定了每个任务能分配的计算资源量由节点指定;约束条件C4限定了决策变量为0-1变量。
进一步地,在步骤8中,计算卸载响应,包括任务ID、任务类型(Type)、传输该请求的边缘智能网关的IP地址(ArriveAt)、拟卸载到边缘智能网关的IP地址(OffloadTo)、计算卸载性能评估(Evaluation)的信息。
本发明并不限于上述实施方式,在不背离本发明实质内容的情况下,本领域技术人员可以想到的任何变形、改进、替换均落入本发明的保护范围。
Claims (10)
1.一种基于算力网络图的多接入边缘计算网络计算卸载系统,基于算力网络图的多接入边缘计算网络计算卸载系统包括云端服务器、边缘智能网关和输入设备,其特征在于:
云端服务器,云端服务器上部署多个与计算卸载相关的模块,用于提供容器集群调度、网络性能监控、算力网络图生成与分发,其中,云端服务器上运行的容器集群调度模块负责对各个边缘节点上部署的容器进行管理,提供基础的负载均衡、弹性伸缩;云端服务器上运行的网络性能监控模块,用于定时收集各个边缘节点提供的网络性能数据并进行统一整理,提供一系列数据接口供其它程序调用;云端服务器上运行的算力网络图模块提供进行算力网络图生成与分发,用于将网络监控模块提供的网络性能数据通过程序接口获取后封装为算力网络图结构,并通过通信协议将最新的算力网络图分发给边端的算力网络图模块;
边缘智能网关,边缘智能网关上运行多个与计算卸载模块,每个计算卸载模块均以容器的形式部署,用于提供算力网络图存储、计算卸载、任务缓存与分发,其中,边缘智能网关上运行的算力网络图模块用于将从云端服务器上运行的算力网络图模块接收的算力网络图进行集中缓存;边缘智能网关上运行的计算卸载模块用于为边缘智能网关集群中到达的任务进行卸载并决定将当前任务迁移到对应的边缘智能网关上的任务处理模块上执行,并将决策结果发送至任务调度客户端,整个集群只需要有一个计算卸载模块处于开启状态即可;边缘智能网关上运行的任务调度客户端模块用于对输入设备的输入数据进行任务识别、任务分类与数据缓存,向计算卸载模块发送任务到达信息,并从计算卸载模块接收计算卸载的结果;
输入设备,输入设备包括环境传感器、智能摄像头在内,环境传感器、智能摄像头用于对环境内容进行采集,通过SDK转换成可通过固定API接口调用或处理的数据;每个输入设备负责一种计算任务,不同的输入设备负责接收不同的输入数据,而不同的输入数据代表着不同的计算任务;将计算任务分为时延敏感任务与时延不敏感任务,时延敏感任务,其计算任务需要得到实时保证,其截止期限相对时延不敏感任务短;时延不敏感任务,其计算任务不需要得到实时保证,其截止期限相对时延敏感任务长。
2.一种多接入边缘计算网络计算卸载的方法,具体包括以下步骤:
步骤1、在基于算力网络图的多接入边缘计算网络计算卸载系统中,有一个云端服务器与若干个边缘智能网关,云端服务器上部署着集群管理模块、网络监控模块、算力网络图模块,每个边缘智能网关上部署着算力网络图模块、计算卸载模块、任务调度客户端模块,云端服务器的容器集群调度模块与若干个边缘智能网关相连,负责对边缘智能网关上部署的容器进行调度;云端服务器的网络监控模块负责在各个节点收集节点监控数据,云端服务器的算力网络图模块定时从网络监控模块获取最新的网络监控数据并封装为算力网络图结构,将算力网络图分发给边缘智能网关上部署的算力网络图模块;
步骤2、边缘智能网关上部署的算力网络图模块将定时接收云端服务器上部署的算力网络图模块分发的算力网络图,并将其存储在算力网络图队列中,算力网络图队列为存储算力网络图结构体的数据结构;
步骤3、边缘智能网关的任务调度客户端模块接收输入设备采集的环境数据,并判断当前的数据是否可以看作计算任务的输入数据;
步骤3.1、当目前的环境数据可以看作计算任务的输入数据,则将这些环境数据进行缓存,并通过获取传输这些环境数据的输入设备的ID以确定对应的任务类型;设定N={n|1,2,...c}表示边缘智能网关集合,n表示边缘智能网关,c表示边缘智能网关数目;
步骤3.2、环境数据为由输入设备采集到的数据,包括图像、音频、示数,输入数据为一个计算任务执行所需要的数据,其中含有连续图像、非噪声的音频、示数序列;
步骤4、在边缘智能网关上部署的任务调度客户端模块通过通信协议,向边缘智能网关的计算卸载模块发送计算卸载请求,并等待计算卸载模块的回复;
步骤5、在边缘智能网关上部署的计算卸载模块接收到任务调度客户端模块的计算卸载请求后,将请求加入卸载队列,并开始监听是否有其它计算卸载请求,记监听的时间间隙为一个监听时间帧;
步骤5.1、在监听时间帧的时隙范围内,计算卸载模块等待是否有其它计算卸载请求到达,当有其他计算卸载请求到达时,则将新到达任务的计算卸载请求加入卸载队列;
步骤5.2、卸载队列为存储计算卸载请求这一消息结构体的数据结构,监听时间帧的时隙长度称为冷却时间;
步骤6、在步骤5的基础上,当一帧间隔的时间帧结束后,边缘智能网关上部署的计算卸载模块从边缘智能网关上部署的算力网络图模块拉取最新的算力网络图,结合算力网络图的信息与计算卸载请求所提供的任务类型,计算卸载模块调用时延预测模型,生成计算卸载时延矩阵,M={m|1,2,...r}表示当前时间帧内共同进行计算卸载的计算任务集合,m表示计算任务,r表示计算任务数目,T={τm,n|m∈M,n∈N}表示计算卸载时延矩阵,τm,n表示将计算任务m卸载至边缘智能网关n的时延;
时延预测模型,包括传输时延的预测模型与处理时延的预测模型,记计算任务m卸载至边缘智能网关n的时延为τm,n,则该时延计算方法如公式(1):
在公式(1)中,τprof为任务特征数据上传时延;τd为卸载算法执行时延,与算法的时间复杂度有关;τup为输入数据上传时延,与输入数据大小、信道速率有关;τwait为等待时延,与计算任务数有关;为卸载执行计算任务的处理时延,与工作量、本地节点计算速度有关;τdown为输出数据下载时延;
在忽略掉在τm,n中占比极小的τprof、τwait和τdown后,计算卸载时延计算方法如公式(2):
由于实际上用于传输时延、处理时延、并发用户数的参数并不容易获得,因此在实践中可以采取另一种方法对传输时延、处理时延进行求解,将距离计算任务m最近的边缘智能网关记为nm,根据发送数据大小为D0的数据包的时延求出由边缘智能网关nm至边缘智能网关n的平均传输速率进而可以求解出传输时延,其计算方法如公式(3):
处理时延与节点性能、任务特征、并发用户数的若干类相关参数,记节点性能其包括计算资源F、存储资源C与I/O资源E;其中,计算与存储资源设置三个子参数:资源总量([·]s)、任务到达时的资源占用比例( )、任务执行时任务的资源平均占用比例I/O资源设置两个子参数:任务到达时的I/O读写速度(E0)、任务执行时的I/O平均读写速度记任务特征S=(W,D),其包括任务工作量W为、输入数据大小D;其中,任务工作量与处理该任务所需算法的时间复杂度成正比;记K为并发用户数,表示每个节点允许同时执行任务的个数;通过一系列实际数据建立节点性能、任务特征、并发用户数与处理时延的关系,借助神经网络求解,如公式(4):
步骤7、在边缘智能网关上部署的计算卸载模块调用计算卸载时延矩阵,使用相应的计算卸载算法进行计算卸载决策;
步骤8、边缘智能网关上部署的计算卸载模块将计算卸载决策结果封装为计算卸载响应结构体,通过通信协议回传给边缘智能网关上部署的任务调度客户端模块,通信协议与步骤4中的通信协议一致;
步骤9、在边缘智能网关上部署的任务调度客户端模块根据获取的计算卸载响应数据所提供的目标节点IP地址,将缓存的计算任务输入数据通过通信协议传输至指定的边缘智能网关上部署的任务处理模块,在任务处理模块完成任务后回传计算结果,任务调度客户端将处理结果上传至云端的展示平台进行展示。
3.根据权利要求2所述的多接入边缘计算网络计算卸载的方法,其特征在于,在步骤1中,算力网络图,包括节点数据与边权数据,其中,节点数据包括地址、计算资源、存储资源,边权数据包括上下游节点、信道速率、连接时延。
4.根据权利要求2所述的多接入边缘计算网络计算卸载的方法,其特征在于,在步骤2中,存储算力网络图的算力网络图队列,其长度记为L,边缘智能网关上部署的算力网络图只会存储近L个算力网络图数据。
5.根据权利要求2所述的多接入边缘计算网络计算卸载的方法,其特征在于,在步骤3中,提出的识别环境数据是否为输入数据的算法,应与具体的计算任务相适配,不同ID的输入设备负责接收不同计算任务的输入数据,任务调度客户端可以依据输入设备的设备ID确定执行的算法。
6.根据权利要求2所述的多接入边缘计算网络计算卸载的方法,其特征在于,在步骤4中,通信协议默认为gRPC协议。
7.根据权利要求2所述的多接入边缘计算网络计算卸载的方法,其特征在于,在步骤4中,计算卸载请求,应包括任务ID、任务类型、传输该请求的边缘智能网关的IP地址。
8.根据权利要求2所述的多接入边缘计算网络计算卸载的方法,其特征在于,在步骤5中,冷却时间,其默认值为20ms,在实际使用时,冷却时间的大小可以根据应用场景中的计算任务类型灵活调整,以最大化计算卸载的效率。
10.根据权利要求2所述的多接入边缘计算网络计算卸载的方法,其特征在于,在步骤8中,计算卸载响应,包括任务ID、任务类型、传输该请求的边缘智能网关的IP地址、拟卸载到边缘智能网关的IP地址、计算卸载性能评估的信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110231691.6A CN112995023B (zh) | 2021-03-02 | 2021-03-02 | 一种多接入边缘计算网络计算卸载系统及其计算卸载方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110231691.6A CN112995023B (zh) | 2021-03-02 | 2021-03-02 | 一种多接入边缘计算网络计算卸载系统及其计算卸载方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112995023A CN112995023A (zh) | 2021-06-18 |
CN112995023B true CN112995023B (zh) | 2022-04-19 |
Family
ID=76352123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110231691.6A Active CN112995023B (zh) | 2021-03-02 | 2021-03-02 | 一种多接入边缘计算网络计算卸载系统及其计算卸载方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112995023B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113179190B (zh) * | 2021-06-29 | 2022-01-07 | 深圳智造谷工业互联网创新中心有限公司 | 边缘控制器、边缘计算系统及其配置方法 |
CN113791878B (zh) * | 2021-07-21 | 2023-11-17 | 南京大学 | 边缘计算中截止日期感知的分布式任务卸载方法 |
CN113660325B (zh) * | 2021-08-10 | 2023-11-07 | 克拉玛依和中云网技术发展有限公司 | 一种基于边缘计算的工业互联网任务卸载策略 |
CN114296828A (zh) * | 2021-12-30 | 2022-04-08 | 中国电信股份有限公司 | 数据计算任务的卸载方法及装置、存储介质、设备 |
CN114500560B (zh) * | 2022-01-06 | 2024-04-26 | 浙江鼎峰科技股份有限公司 | 一种最小化网络时延的边缘节点服务部署与负载均衡方法 |
CN114613193A (zh) * | 2022-03-22 | 2022-06-10 | 重庆长安汽车股份有限公司 | 基于算力共享的停车位获取方法、存储介质、系统及车辆 |
CN115002108B (zh) * | 2022-05-16 | 2023-04-14 | 电子科技大学 | 一种智能手机担任计算服务节点的组网和任务卸载方法 |
CN115118554A (zh) * | 2022-06-24 | 2022-09-27 | 长沙朗源电子科技有限公司 | 基于云平台的智能网关数据处理方法、系统、设备及介质 |
CN114816721B (zh) * | 2022-06-29 | 2022-09-09 | 常州庞云网络科技有限公司 | 一种基于边缘计算的多任务优化调度方法及系统 |
WO2024001302A1 (zh) * | 2022-06-30 | 2024-01-04 | 华为云计算技术有限公司 | 一种建图系统及相关方法 |
CN115190128B (zh) * | 2022-07-11 | 2023-05-30 | 西安电子科技大学广州研究院 | 基于嵌入式边缘网关的算力感知与计算任务分配系统 |
CN116153090B (zh) * | 2022-10-25 | 2024-03-29 | 浙江特锐讯智能科技有限公司 | 一种全轨迹精准化车牌识别管理方法及系统 |
CN115442375B (zh) * | 2022-11-08 | 2023-01-10 | 深圳市亲邻科技有限公司 | 一种基于云边协同技术的物业数字化管理系统 |
CN115509644B (zh) * | 2022-11-21 | 2023-04-28 | 北京邮电大学 | 算力卸载方法、装置、电子设备和存储介质 |
CN115587018B (zh) * | 2022-11-22 | 2023-03-10 | 中科声龙科技发展(北京)有限公司 | 算力服务数据集存储方法、算力计算装置及算力服务设备 |
CN117478351B (zh) * | 2023-07-21 | 2024-04-30 | 振宁(无锡)智能科技有限公司 | 一种工业互联网边缘计算的智能优化方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534333A (zh) * | 2016-11-30 | 2017-03-22 | 北京邮电大学 | 一种基于mec和mcc的双向选择计算卸载方法 |
CN111741054A (zh) * | 2020-04-24 | 2020-10-02 | 浙江工业大学 | 一种移动用户深度神经网络计算卸载时延最小化方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108540406B (zh) * | 2018-07-13 | 2021-06-08 | 大连理工大学 | 一种基于混合云计算的网络卸载方法 |
CN110941667B (zh) * | 2019-11-07 | 2022-10-14 | 北京科技大学 | 一种移动边缘计算网络中的计算卸载方法及系统 |
CN111160525B (zh) * | 2019-12-17 | 2023-06-20 | 天津大学 | 一种边缘计算环境下基于无人机群的任务卸载智能决策方法 |
CN111726854B (zh) * | 2020-04-24 | 2023-04-07 | 浙江工业大学 | 一种降低物联网计算卸载能耗的方法 |
CN111835827B (zh) * | 2020-06-11 | 2021-07-27 | 北京邮电大学 | 物联网边缘计算任务卸载方法及系统 |
-
2021
- 2021-03-02 CN CN202110231691.6A patent/CN112995023B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106534333A (zh) * | 2016-11-30 | 2017-03-22 | 北京邮电大学 | 一种基于mec和mcc的双向选择计算卸载方法 |
CN111741054A (zh) * | 2020-04-24 | 2020-10-02 | 浙江工业大学 | 一种移动用户深度神经网络计算卸载时延最小化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112995023A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112995023B (zh) | 一种多接入边缘计算网络计算卸载系统及其计算卸载方法 | |
CN109067842B (zh) | 面向车联网的计算任务卸载方法 | |
WO2020216135A1 (zh) | 基于边-端协同的多用户多mec任务卸载资源调度方法 | |
CN110493360B (zh) | 多服务器下降低系统能耗的移动边缘计算卸载方法 | |
Baccarelli et al. | Energy-efficient dynamic traffic offloading and reconfiguration of networked data centers for big data stream mobile computing: review, challenges, and a case study | |
CN109862592B (zh) | 一种基于多基站协作的移动边缘计算环境下资源管理和调度方法 | |
CN107734558A (zh) | 一种基于多服务器的移动边缘计算控制及资源调度方法 | |
CN111475274B (zh) | 云协同多任务调度方法及装置 | |
CN111212106B (zh) | 一种工业互联网环境中边缘计算任务处理与调度方法及装置 | |
CN110069341A (zh) | 边缘计算中结合功能按需配置的有依赖关系任务的调度方法 | |
CN110113140B (zh) | 一种雾计算无线网络中的计算卸载方法 | |
Kliazovich et al. | CA-DAG: Communication-aware directed acyclic graphs for modeling cloud computing applications | |
CN106790381A (zh) | 基于加权最小连接的动态反馈负载均衡方法 | |
CN113535393B (zh) | 异构边缘计算中卸载dag任务的计算资源分配方法 | |
CN112860337B (zh) | 在多接入边缘计算中卸载依赖任务的方法及系统 | |
CN112799823A (zh) | 边缘计算任务的在线分派调度方法和系统 | |
Dong et al. | Quantum particle swarm optimization for task offloading in mobile edge computing | |
CN112860409B (zh) | 基于李雅普诺夫优化的移动云计算随机任务序列调度方法 | |
Durga et al. | Context-aware adaptive resource provisioning for mobile clients in intra-cloud environment | |
CN109600432B (zh) | 内容中心移动边缘网络用户动态接入方法 | |
CN108667920B (zh) | 一种雾计算环境业务流量加速系统及其业务流量加速方法 | |
CN106209683B (zh) | 基于数据中心广域网的数据传输方法及系统 | |
CN114116052A (zh) | 一种边缘计算方法及装置 | |
CN112148474A (zh) | 面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统 | |
CN111784029A (zh) | 一种雾节点资源分配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |