CN110113761B - 一种流数据处理应用在边缘计算网络中的部署方法和装置 - Google Patents

一种流数据处理应用在边缘计算网络中的部署方法和装置 Download PDF

Info

Publication number
CN110113761B
CN110113761B CN201910403222.0A CN201910403222A CN110113761B CN 110113761 B CN110113761 B CN 110113761B CN 201910403222 A CN201910403222 A CN 201910403222A CN 110113761 B CN110113761 B CN 110113761B
Authority
CN
China
Prior art keywords
task
node
bandwidth
deployment
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910403222.0A
Other languages
English (en)
Other versions
CN110113761A (zh
Inventor
钱柱中
黎一泽
陆桑璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201910403222.0A priority Critical patent/CN110113761B/zh
Publication of CN110113761A publication Critical patent/CN110113761A/zh
Application granted granted Critical
Publication of CN110113761B publication Critical patent/CN110113761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/121—Shortest path evaluation by minimising delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/04—Communication route or path selection, e.g. power-based or shortest path routing based on wireless node resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/20—Communication route or path selection, e.g. power-based or shortest path routing based on geographic position or location

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种流数据处理应用在边缘计算网络中的部署方法和装置，所述方法通过收集每个应用需要处理的数据流的位置和流量大小信息以及每一个计算节点的带宽信息，将多个应用中的任一个应用抽象为两类场景下的任务进行部署：在无副本任务部署场景下，先部署到数据中心，再通过减小系统总体带宽资源消耗和最大单位资源减少系统延迟代价进行任务部署位置的不断更新；在多副本任务部署场景下，先随机分配到不同计算节点，再进行端到端最短时延路由决策，对带宽资源使用超过限制的计算节点，通过删除计算任务以及重路由，直至系统带宽资源可满足。本发明通过适当的任务部署方式，减少部署在边缘计算网络环境中的应用的延迟，提升带宽资源使用效率。

Description

一种流数据处理应用在边缘计算网络中的部署方法和装置
技术领域
本发明涉及计算任务在边缘计算环境中的部署方法，具体是一种流数据处理应用在多边缘节点-数据中心计算网络中的部署方法和装置。
背景技术
随着物联网和各式各样的智能设备的发展，越来越多需要低延迟网络服务的流式数据处理应用被部署。流式数据处理应用需要处理大量的实时性的数据，例如视频、系统监测采集信息、雷达信息等。这些数据以数据流的形式在数据处理系统中进行传输和处理。由于接入网络的设备众多，所以WAN中传输的数据流数量多且带宽占用大。WAN网络带宽能力有限，而设备地理性分布的特性使得整个网络的数据传输负载巨大，容易造成延迟升高甚至数据丢失。
边缘云是一种分布式的云平台结构，理念是将应用需要处理的数据先发送到网络边缘的小型服务云进行就近处理。通过在靠近用户的网络边缘，例如无线基站、边缘局域网络等部署小型的计算服务器，来就近满足应用的数据计算和处理请求。将数据流在边缘计算节点进行处理，能够节省数据传输到数据中心的时间。并且由于能够先将众多设备的原始数据在边缘计算节点进行过滤合并等，WAN中传输的数据量将大大减小。
将流式数据处理任务部署在边缘计算框架下，随之而来的问题是使用何种策略部署数据处理任务。物联网应用的多种类型，应用数量比较多，同时WAN带宽资源有限。在多输入的流数据处理应用中，任务需要处理的数据流会广泛分布于不同的边缘网络区域，由于多输入数据流的延迟差异和多应用之间的带宽资源竞争，任务的部署策略将会影响到数据流的端到端时延和带宽资源使用。简单放置策略下，不能发现节点之间的延迟差异，数据传输延迟不是最优；边缘节点带宽资源有限导致数据传输拥挤，延迟增大，并且在流数据处理场景下带宽拥挤会使得数据不断堆积，延迟不断增加。同时在系统能够允许一个任务存在多个副本处理应用的数据流时，除了需要考虑上述问题之外，还需要同时考虑多个任务副本在系统中的放置问题和数据流应该分发给哪个计算任务进行处理的数据流路由问题，以获得更好的应用延迟。
发明内容
发明目的：针对现有技术的不足，本发明提供了一种流数据处理应用在边缘计算网络中的部署方法及装置，能够实现流式数据处理任务在多边缘节点-数据中心计算网络的高效部署。
技术方案：根据本发明的第一方面，提供一种流数据处理应用在边缘计算网络中的部署方法，所述边缘计算网络由带宽资源有限的多个边缘计算节点和可用带宽资源不受限制的单个数据中心组成，多个边缘计算节点与数据中心通过WAN连接，所述部署方法包括将多个应用中的任意一个应用抽象为单个可部署的流数据处理任务的无副本任务部署场景下的任务部署方法，以及将多个应用中的任意一个应用抽象为多个副本并行的流数据处理任务的多副本任务部署场景下的任务部署方法，其中，
在无副本任务部署场景下，先将所有任务都放置在数据中心，再通过减小系统总体带宽资源消耗和最大化单位资源减少系统延迟代价进行任务部署位置的不断更新；
在多副本任务部署场景下，先将所有任务随机分配到不同计算节点，再进行端到端最短时延路由决策，对带宽资源使用超过限制的计算节点，通过删除计算任务以及重路由，直至系统带宽资源可满足。
进一步地，所述无副本任务部署场景下的任务部署方法包括以下步骤：
S11、获取待部署的应用集合，每一个边缘计算节点的带宽大小和每一个应用待处理的数据流信息，得到待部署的任务集合以及每一个任务需要处理的数据流集合所在的边缘计算节点的位置和数据流数据产生速率大小；
S12、将所有任务都部署到数据中心，计算边缘计算节点的带宽消耗和剩余带宽值；
S13、对任一任务s，计算假如将s部署到可满足带宽资源消耗的节点时系统中的整体带宽资源使用增量值，选择计算结果为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，再执行步骤S13；若没有能够找到符合上述条件的节点，执行步骤S14；
S14、对任一任务s，计算假如s部署到可满足带宽资源消耗的节点时系统中的单位整体带宽资源使用增量值能够减少总体系统延迟，选择计算结果为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，遍历计算每一个任务，并返回步骤S13；若没有能够找到符合上述条件的节点，结束当前过程，输出任务部署矩阵X。
进一步地，所述多副本任务部署场景下的任务部署方法包括以下步骤：
S21、对任意一个应用中指定个数的多个任务副本，忽略边缘计算节点的带宽容量限制，将任务副本不重复地随机部署到任意一个存在需要该应用处理的数据的节点；
S22、对任意一个应用需要处理的数据流，忽略带宽资源限制，将这些数据流路由到具有此应用的任务副本的端到端延迟最低的计算节点；计算每一个计算节点上为了支持所有的应用数据流的端到端传输需要消耗的带宽资源大小；
S23、对带宽资源使用超过限制的计算节点上的计算任务进行重放置，顺序假设删除其中一个计算任务并将此任务处理的数据流进行带宽可感知的延迟最短代价重新路由，使用整体最小系统延迟代价增量贪心的方法选择一个任务进行删除，重新计算带宽资源消耗；
S24、重复步骤S23，直至系统每一个节点上的带宽资源限制得到满足，输出任务每一个应用中的每一个任务副本部署的位置矩阵X和数据流的路由矩阵Y。
根据本发明的第二方面，提供一种流数据处理应用在边缘计算网络中的部署装置，所述边缘计算网络由带宽资源有限的多个边缘计算节点和可用带宽资源不受限制的单个数据中心组成，多个边缘计算节点与数据中心通过WAN连接，所述部署装置包括：
系统信息整理模块，用于收集每个应用需要处理的数据流的位置和流量大小信息以及每一个计算节点的带宽信息；
无副本任务部署决策模块，用于完成无副本任务部署场景下的任务部署，通过先将所有的任务都放置在数据中心，然后通过减小系统总体带宽资源消耗和最大化单位资源减少系统延迟代价进行任务部署位置的不断更新；
多副本任务部署决策模块，用于完成多副本任务部署场景下的任务部署，通过将一个应用中的多个任务副本随机分配到不同计算节点，然后将数据流进行端到端最短时延路由决策，再在带宽资源使用超过限制的计算节点上删除计算任务以及重新对系统数据流进行路由决策，直至系统带宽资源限制得到满足。
有益效果：本发明通过联合多边缘节点+数据中心两个层次的资源层进行协同任务调度，关注在WAN中影响任务执行快慢的关键因素：网络带宽，关注流式数据处理应用最为关心的性能指标：延迟，以系统的全局延迟最低为目标进行任务放置决策优化，能够大大提升系统中整体流式数据处理应用的运行效率，降低用户感受到的应用延迟，同时提升系统带宽资源的利用效率。
附图说明
图1为根据本发明实施例的边缘计算环境系统框架示意图；
图2为根据本发明实施例的数据生成和处理过程示意图；
图3为根据本发明实施例的部署决策方法流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明。
使用本发明实施例提供的流数据处理应用在多边缘节点-数据中心计算网络中的部署方法主要在边缘计算网络环境中进行实现。具体实现的系统框架如图1所示。系统包括节点带宽资源受到限制边缘计算节点(边缘服务器)，带宽资源不受限制的数据中心节点，各个节点之间存在网络传输延迟。图2表示的是系统中的数据生成和处理过程示意图。系统中的一个边缘计算节点收集接入它的设备发送过来的数据，根据设备发送数据所归属的应用，对待处理数据进行初步整理，在每一个节点上得到具有类型标签和流量大小的多个数据流。具体而言，通过任务协同部署调度器，获取待部署的应用集合信息和系统信息；根据应用的配置信息，获取每一个应用待处理的数据流信息；根据系统维护的系统节点带宽信息和数据流信息，获取每一个边缘计算节点的带宽大小和每一个数据流数据产生速率大小和位置信息，得到待部署的任务集合以及每一个任务需要处理的数据流集合所在的边缘计算节点的位置和数据流速率大小，给需要部署的所有任务进行编号，编号集合为S＝{1,2,…,s}。一个任务集合提交到系统后，根据上述信息，使用流数据处理应用在多边缘节点-数据中心计算网络中的部署方法将任务部署到系统中。该方法包括无副本任务部署场景下的任务部署方法和多副本任务部署场景下的任务部署方法，过程如图3所示。
在无副本任务部署场景下，所述任务部署方法包括以下步骤：
S11)将所有任务都部署到数据中心，计算边缘计算节点的带宽消耗和剩余带宽值；
S12)对任一个任务s，假如s部署到系统中其他可满足带宽资源消耗的节点时，计算此时系统中的整体带宽资源使用增量值，选择为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，遍历每个任务执行S13)，由于每一次更新任务位置之后，系统各计算节点带宽都会变化，所以要重新执行S13寻找新的更新位置，当没有能够找到符合上述条件的节点，执行步骤S14)；
其中计算替换任务部署位置后系统中的整体带宽资源使用增量值的方法如下：
Figure GDA0003089252330000041
其中Δasd表示资源使用增量值，wsd′j表示第s个应用任务部署在计算节点d′上后在节点j消耗的带宽资源，wsdj表示第s个应用任务重新选择部署在计算节点d上后在节点j消耗的带宽资源，
Figure GDA0003089252330000042
表示当前每个节点上使用的资源的向量，Zj表示已经消耗的第j个节点使用的带宽资源总和；
S14)对每一个任务s，假如s部署到系统中其他可满足带宽资源消耗的节点时，计算此时系统中的单位整体带宽资源使用增量值能够减少系统延迟，选择为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，遍历计算每个任务，返回执行S13)；当没有能够找到符合上述条件的节点，结束当前过程，输出任务部署矩阵X，其中xsd＝1表示s部署在编号为d的计算节点，xsd＝0表示s没有部署在编号为d的计算节点；
其中单位整体带宽资源使用增量值能够减少系统延迟的计算方法如下：(Hsd-Hsd′)/Δasd，其中，Hsd表示应用数据处理任务s选择新的部署节点d后所有数据流从数据生成节点传输到数据处理任务所在计算节点的网络延迟总和，Hsd′表示应用数据处理任务s部署节点d′上时所有数据流从数据生成节点传输到数据处理任务所在计算节点的延迟总和。
在多副本任务部署场景下，所述任务部署方法包括以下步骤：
S21)对任意一个应用中指定个数的多个任务副本，首先忽略边缘计算节点的带宽容量限制，将任务副本不重复地随机部署到任意一个存在需要该应用处理的数据所在的节点。
S22)对任意的一个应用需要处理的数据流，忽略带宽资源限制，此时将这些数据流路由到具有此应用的任务副本的端到端延迟最低的计算节点；计算每一个计算节点上为了支持所有的应用数据流的端到端传输需要消耗的带宽资源大小。
S23)对带宽资源使用超过限制的计算节点上的计算任务进行重放置。顺序假设删除其中一个计算任务并将此任务处理的数据流进行带宽可感知的延迟最短代价重新路由，使用整体最小系统延迟代价增量贪心的方法选择一个任务进行删除，重新计算带宽资源消耗。
其中带宽可感知的延迟最短代价重新路由方法如下：
对路由到被删除的计算任务的数据流，按照流量从小到大选择数据流，查找系统中部署有能够处理当前数据流的任务副本且拥有足够带宽能够支持当前数据流的节点，将数据流路由到此节点进行处理。
其中整体最小系统延迟代价增量贪心的方法如下：
对每一个计算任务
Figure GDA0003089252330000051
假如当前节点使用的带宽资源消耗超过了节点的带宽资源上限，执行删除任务副本的操作；
对流向当前删除的数据处理任务副本的数据流集合，将所有数据流传输到存在副本的计算节点且满足带宽资源限制的具有最小延迟的计算节点进行处理，此时，如果边缘上的计算节点都不可用，数据流将会传输到数据中心进行处理；
完成上述过程后，重新计算当前的系统所有的数据流端到端延迟代价V′，设V为没有执行删除和重新路由操作之前的系统所有的数据流端到端延迟代价，令ΔVstd＝V′-V为删除一个任务s的副本t之后系统增加的延迟代价，对一个s∈S，得到Λs个不同的{ΔVstd}，而对所有的
Figure GDA0003089252330000061
得到∑s∈SΛs个不同的系统代价增量，每次选择增加的系统代价增量ΔVstd最小的那个删除操作使之生效，也就是使得xstd＝0。
S24)重复S23)过程，直至系统每一个节点上的带宽资源限制可满足。输出任务每一个应用中的每一个任务副本部署的位置矩阵X和数据流的路由矩阵Y。其中，xstd＝1表示应用s的第t个任务副本部署在计算节点d上，xstd＝0表示应用s的第t个任务副本没有部署在计算节点d上。yqst＝1表示数据流q路由到应用s所在的第t个任务副本进行处理，yqst＝0表示数据流q没有路由到应用s所在的第t个任务副本进行处理。
根据本发明的另一实施例，提供一种流数据处理应用在边缘计算网络中的部署装置，包括：
系统信息整理模块，用于收集每个应用需要处理的数据流的位置和流量大小信息以及每一个计算节点的带宽信息；
无副本任务部署决策模块，用于完成无副本任务部署场景下的任务部署，通过先将所有的任务都放置在数据中心，然后通过减小系统总体带宽资源消耗和最大化单位资源减少系统延迟代价进行任务部署位置的不断更新；
多副本任务部署决策模块，用于完成多副本任务部署场景下的任务部署，通过将一个应用中的多个任务副本随机分配到不同计算节点，然后将数据流进行端到端最短时延路由决策，再在带宽资源使用超过限制的计算节点上删除计算任务以及重新对系统数据流进行路由决策，直至系统带宽资源限制得到满足。
具体而言，系统信息整理模块通过任务协同部署调度器，获取待部署的应用集合信息和系统信息；根据应用的配置信息，获取每一个应用待处理的数据流信息；根据系统维护的系统节点带宽信息和数据流信息，获取每一个边缘计算节点的带宽大小和每一个数据流数据产生速率大小和位置信息，得到待部署的任务集合以及每一个任务需要处理的数据流集合所在的边缘计算节点的位置和数据流速率大小，给需要部署的所有任务进行编号，编号集合为S＝{1,2,…,s}。
无副本任务部署决策模块在无副本任务部署场景下进行任务部署，包括：
第一初始设置单元，被配置为将所有任务都部署到数据中心，并计算边缘计算节点的带宽消耗和剩余带宽值。
系统带宽资源增量计算单元，被配置为对任一个任务s，计算假如s部署到系统中其他可满足带宽资源消耗的节点时系统中的整体带宽资源使用增量值，选择计算结果为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，遍历计算任务集合中每个任务；若没有能够找到符合上述条件的节点，调用系统延迟减少量计算单元。
其中整体带宽资源使用增量值的计算式如下：
Figure GDA0003089252330000071
其中Δasd表示资源使用增量值，wsd′j表示第s个应用任务部署在计算节点d′上后在节点j消耗的带宽资源，wsdj表示第s个应用任务重新选择部署在计算节点d上后在节点j消耗的带宽资源，
Figure GDA0003089252330000072
表示当前每个节点上使用的资源的向量，Zj表示已经消耗的第j个节点使用的带宽资源总和。
系统延迟减少量计算单元，被配置为对每一个任务s，计算假如s部署到系统中其他可满足带宽资源消耗的节点时系统中的单位整体带宽资源使用增量值能够减少系统延迟，选择计算结果为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，遍历计算每个任务，调用系统带宽资源增量计算单元；当没有能够找到符合上述条件的节点，结束当前过程，输出任务部署矩阵X，其中xsd＝1表示s部署在编号为d的计算节点，xsd＝0表示s没有部署在编号为d的计算节点。
其中单位整体带宽资源使用增量值能够减少系统延迟的计算式如下：(Hsd-Hsd′)/Δasd，其中，Hsd表示应用数据处理任务s选择新的部署节点d后所有数据流从数据生成节点传输到数据处理任务所在计算节点的网络延迟总和，Hsd′表示应用数据处理任务s部署节点d′上时所有数据流从数据生成节点传输到数据处理任务所在计算节点的延迟总和。
多副本任务部署决策模块在多副本任务部署场景下进行任务部署，包括：
第二初始设置单元，被配置为对任意一个应用中指定个数的多个任务副本，忽略边缘计算节点的带宽容量限制，将任务副本不重复地随机部署到任意一个存在需要该应用处理的数据所在的节点。
最短时延决策单元，对任意的一个应用需要处理的数据流，忽略带宽资源限制，将这些数据流路由到具有此应用的任务副本的端到端延迟最低的计算节点；计算每一个计算节点上为了支持所有的应用数据流的端到端传输需要消耗的带宽资源大小。
重放置单元，被配置为对带宽资源使用超过限制的计算节点上的计算任务进行重放置。顺序假设删除其中一个计算任务并将此任务处理的数据流进行带宽可感知的延迟最短代价重新路由，使用整体最小系统延迟代价增量贪心的方法选择一个任务进行删除，重新计算带宽资源消耗。
其中带宽可感知的延迟最短代价重新路由方法如下：
对路由到被删除的计算任务的数据流，按照流量从小到大选择数据流，查找系统中部署有能够处理当前数据流的任务副本且拥有足够带宽能够支持当前数据流的节点，将数据流路由到此节点进行处理。
其中整体最小系统延迟代价增量贪心的方法如下：
对每一个计算任务
Figure GDA0003089252330000081
假如当前节点使用的带宽资源消耗超过了节点的带宽资源上限，执行删除任务副本的操作；
对流向当前删除的数据处理任务副本的数据流集合，将所有数据流传输到存在副本的计算节点且满足带宽资源限制的具有最小延迟的计算节点进行处理，此时，如果边缘上的计算节点都不可用，数据流将会传输到数据中心进行处理；
完成上述过程后，重新计算当前的系统所有的数据流端到端延迟代价V′，设V为没有执行删除和重新路由操作之前的系统所有的数据流端到端延迟代价，令ΔVstd＝V′-V为删除一个任务s的副本t之后系统增加的延迟代价，对一个s∈S，得到Λs个不同的{ΔVstd}，而对所有的
Figure GDA0003089252330000082
得到∑s∈SΛs个不同的系统代价增量，每次选择增加的系统代价增量ΔVstd最小的那个删除操作使之生效，也就是使得xstd＝0。
当系统每一个节点上的带宽资源限制可满足时，重放置单元输出任务每一个应用中的每一个任务副本部署的位置矩阵X和数据流的路由矩阵Y。其中，xstd＝1表示应用s的第t个任务副本部署在计算节点d上，xstd＝0表示应用s的第t个任务副本没有部署在计算节点d上。yqst＝1表示数据流q路由到应用s所在的第t个任务副本进行处理，yqst＝0表示数据流q没有路由到应用s所在的第t个任务副本进行处理。
本发明提供了一种流数据处理应用在多边缘节点-数据中心计算网络中的部署方法、装置。以上所述仅是本发明的优选实施方式，应当指出以上实施例对本发明不构成限定，相关工作人员在不偏离发明技术思想的范围内，所进行的多样变化和修改，均落在本发明的保护范围内。

Claims (7)

1.一种流数据处理应用在边缘计算网络中的部署方法，其特征在于，所述边缘计算网络由带宽资源有限的多个边缘计算节点和可用带宽资源不受限制的单个数据中心组成，多个边缘计算节点与数据中心通过WAN连接，所述部署方法包括将多个应用中的任意一个应用抽象为单个可部署的流数据处理任务的无副本任务部署场景下的任务部署方法，以及将多个应用中的任意一个应用抽象为多个副本并行的流数据处理任务的多副本任务部署场景下的任务部署方法，其中，
在无副本任务部署场景下，先将所有任务都放置在数据中心，再通过减小系统总体带宽资源消耗和最大化单位资源减少系统延迟代价进行任务部署位置的不断更新，具体包括以下步骤：
S11、获取待部署的应用集合，每一个边缘计算节点的带宽大小和每一个应用待处理的数据流信息，得到待部署的任务集合以及每一个任务需要处理的数据流集合所在的边缘计算节点的位置和数据流数据产生速率大小；
S12、将所有任务都部署到数据中心，计算边缘计算节点的带宽消耗和剩余带宽值；
S13、对任一任务s，计算假如将s部署到可满足带宽资源消耗的节点时系统中的整体带宽资源使用增量值，选择计算结果为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，再继续执行S13；若没有能够找到符合上述条件的节点，执行步骤S14；
S14、对任一任务s，计算假如s部署到可满足带宽资源消耗的节点时系统中的单位整体带宽资源使用增量值能够减少总体系统延迟，选择计算结果为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，遍历计算每一个任务，并返回步骤S13；若没有能够找到符合上述条件的节点，结束当前过程，输出任务部署矩阵X；
在多副本任务部署场景下，先将所有任务随机分配到不同计算节点，再进行端到端最短时延路由决策，对带宽资源使用超过限制的计算节点，通过删除计算任务以及重路由，直至系统带宽资源可满足，具体包括以下步骤：
S21、对任意一个应用中指定个数的多个任务副本，忽略边缘计算节点的带宽容量限制，将任务副本不重复地随机部署到任意一个存在需要该应用处理的数据的节点；
S22、对任意一个应用需要处理的数据流，忽略带宽资源限制，将这些数据流路由到具有此应用的任务副本的端到端延迟最低的计算节点；计算每一个计算节点上为了支持所有的应用数据流的端到端传输需要消耗的带宽资源大小；
S23、对带宽资源使用超过限制的计算节点上的计算任务进行重放置，顺序假设删除其中一个计算任务并将此任务处理的数据流进行带宽可感知的延迟最短代价重新路由，使用整体最小系统延迟代价增量贪心的方法选择一个任务进行删除，重新计算带宽资源消耗；
S24、重复步骤S23，直至系统每一个节点上的带宽资源限制得到满足，输出任务每一个应用中的每一个任务副本部署的位置矩阵X和数据流的路由矩阵Y。
2.根据权利要求1所述的流数据处理应用在边缘计算网络中的部署方法，其特征在于，所述步骤S13中整体带宽资源使用增量值的计算公式为：
Figure FDA0003089252320000021
其中Δasd表示资源使用增量值，wsd′j表示第s个应用任务部署在计算节点d′上后在节点j消耗的带宽资源，wsdj表示第s个应用任务重新选择部署在计算节点d上后在节点j消耗的带宽资源，
Figure FDA0003089252320000022
表示当前每个节点上使用的资源的向量，Zj表示已经消耗的第j个节点使用的带宽资源总和。
3.根据权利要求2所述的流数据处理应用在边缘计算网络中的部署方法，其特征在于，所述步骤S14中单位整体带宽资源使用增量值能够减少总体系统延迟的计算式为：(Hsd-Hsd′)/Δasd，其中，Hsd表示应用数据处理任务s选择新的部署节点d后所有数据流的端到端延迟总和，Hsd′表示应用数据处理任务s部署节点d′上时所有数据流的端到端延迟总和。
4.根据权利要求1所述的流数据处理应用在边缘计算网络中的部署方法，其特征在于，所述步骤S23中带宽可感知的延迟最短代价重新路由方法如下：
对路由到被删除的计算任务的数据流，按照流量从小到大选择数据流，查找系统中部署有能够处理当前数据流的任务副本且拥有足够带宽能够支持当前数据流的节点，将数据流路由到此节点进行处理。
5.根据权利要求1所述的流数据处理应用在边缘计算网络中的部署方法，其特征在于，所述步骤S23中整体最小系统延迟代价增量贪心的方法如下：
对每一个计算任务
Figure FDA0003089252320000023
S为任务集合，假如当前节点使用的带宽资源消耗超过了节点的带宽资源上限，执行删除任务副本的操作；
对流向当前删除的数据处理任务副本的数据流集合，将所有数据流传输到存在副本的计算节点且满足带宽资源限制的具有最小延迟的计算节点进行处理，此时，如果边缘上的计算节点都不可用，数据流将会传输到数据中心进行处理；
重新计算当前系统所有数据流端到端延迟代价V′，设V为没有执行删除和重新路由操作之前的系统所有数据流端到端延迟代价，令ΔVstd＝V′-V为删除一个任务s的副本t之后系统增加的延迟代价，对一个s∈S，得到Λs个不同的{ΔVstd}，对所有
Figure FDA0003089252320000031
得到∑s∈SΛs个不同的系统代价增量，每次选择增加的系统代价增量ΔVstd最小的那个删除操作使之生效。
6.一种流数据处理应用在边缘计算网络中的部署装置，其特征在于，所述边缘计算网络由带宽资源有限的多个边缘计算节点和可用带宽资源不受限制的单个数据中心组成，多个边缘计算节点与数据中心通过WAN连接，所述部署装置包括：
系统信息整理模块，用于收集每个应用需要处理的数据流的位置和流量大小信息以及每一个计算节点的带宽信息；
无副本任务部署决策模块，用于完成无副本任务部署场景下的任务部署，通过先将所有的任务都放置在数据中心，然后通过减小系统总体带宽资源消耗和最大化单位资源减少系统延迟代价进行任务部署位置的不断更新，所述无副本任务部署决策模块具体包括：
第一初始设置单元，被配置为将所有任务都部署到数据中心，并计算边缘计算节点的带宽消耗和剩余带宽值；
系统带宽资源增量计算单元，被配置为对任一个任务s，计算假如s部署到系统中其他可满足带宽资源消耗的节点时系统中的整体带宽资源使用增量值，选择计算结果为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，遍历计算任务集合中每个任务；若没有能够找到符合上述条件的节点，调用系统延迟减少量计算单元；
系统延迟减少量计算单元，被配置为对每一个任务s，计算假如s部署到系统中其他可满足带宽资源消耗的节点时系统中的单位整体带宽资源使用增量值能够减少系统延迟，选择计算结果为正数且最大的一个所对应的节点作为新的部署位置，更新计算任务的部署位置，遍历计算每个任务，调用系统带宽资源增量计算单元；当没有能够找到符合上述条件的节点，结束当前过程，输出任务部署矩阵X；
多副本任务部署决策模块，用于完成多副本任务部署场景下的任务部署，通过将一个应用中的多个任务副本随机分配到不同计算节点，然后将数据流进行端到端最短时延路由决策，再在带宽资源使用超过限制的计算节点上删除计算任务以及重新对系统数据流进行路由决策，直至系统带宽资源限制得到满足，所述多副本任务部署决策模块具体包括：
第二初始设置单元，被配置为对任意一个应用中指定个数的多个任务副本，忽略边缘计算节点的带宽容量限制，将任务副本不重复地随机部署到任意一个存在需要该应用处理的数据所在的节点；
最短时延决策单元，对任意的一个应用需要处理的数据流，忽略带宽资源限制，将这些数据流路由到具有此应用的任务副本的端到端延迟最低的计算节点；计算每一个计算节点上为了支持所有的应用数据流的端到端传输需要消耗的带宽资源大小；
重放置单元，被配置为对带宽资源使用超过限制的计算节点上的计算任务进行重放置，顺序假设删除其中一个计算任务并将此任务处理的数据流进行带宽可感知的延迟最短代价重新路由，使用整体最小系统延迟代价增量贪心的方法选择一个任务进行删除，重新计算带宽资源消耗，当系统每一个节点上的带宽资源限制可满足时，重放置单元输出任务每一个应用中的每一个任务副本部署的位置矩阵X和数据流的路由矩阵Y。
7.根据权利要求6所述的流数据处理应用在边缘计算网络中的部署装置，其特征在于，所述系统信息整理模块通过任务协同部署调度器，获取待部署的应用集合信息和系统信息；根据应用的配置信息，获取每一个应用待处理的数据流信息；根据系统维护的系统节点带宽信息和数据流信息，获取每一个边缘计算节点的带宽大小和每一个数据流数据产生速率大小和位置信息，得到待部署的任务集合以及每一个任务需要处理的数据流集合所在的边缘计算节点的位置和数据流速率大小。
CN201910403222.0A 2019-05-15 2019-05-15 一种流数据处理应用在边缘计算网络中的部署方法和装置 Active CN110113761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910403222.0A CN110113761B (zh) 2019-05-15 2019-05-15 一种流数据处理应用在边缘计算网络中的部署方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910403222.0A CN110113761B (zh) 2019-05-15 2019-05-15 一种流数据处理应用在边缘计算网络中的部署方法和装置

Publications (2)

Publication Number Publication Date
CN110113761A CN110113761A (zh) 2019-08-09
CN110113761B true CN110113761B (zh) 2021-09-28

Family

ID=67490237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910403222.0A Active CN110113761B (zh) 2019-05-15 2019-05-15 一种流数据处理应用在边缘计算网络中的部署方法和装置

Country Status (1)

Country Link
CN (1) CN110113761B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210262B (zh) * 2019-12-25 2023-10-03 浙江大学 基于激励机制的自发式边缘应用部署及定价方法
CN111611076B (zh) * 2020-05-20 2023-03-28 云南大学 任务部署约束下移动边缘计算共享资源公平分配方法
CN112000388B (zh) * 2020-06-05 2022-08-23 国网江苏省电力有限公司信息通信分公司 基于多边缘集群协同的并发任务调度方法及装置
CN113206876B (zh) * 2021-04-28 2023-01-06 南京航空航天大学 一种移动边缘计算环境下双标签感知的服务重部署方法
CN113867933B (zh) * 2021-08-10 2022-09-09 中标慧安信息技术股份有限公司 边缘计算应用部署方法和装置
CN114006764B (zh) * 2021-11-02 2023-09-26 北京天融信网络安全技术有限公司 一种基于超融合系统的安全网元的部署方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10122547B2 (en) * 2015-08-14 2018-11-06 Nec Corporation Enabling high-bandwidth, responsive mobile applications in LTE networks
CN106411770B (zh) * 2016-09-08 2019-05-31 重庆邮电大学 一种基于sdn架构的数据中心网络节能路由算法
CN107682443A (zh) * 2017-10-19 2018-02-09 北京工业大学 联合考虑延迟和能量消耗的移动边缘计算系统计算任务的高效卸载方法
CN108804227B (zh) * 2018-05-23 2021-05-07 大连理工大学 基于移动云计算的计算密集型任务卸载和最佳资源配置的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SDN的移动边缘计算网路哦涉及与应用研究;王宇;《中国优秀硕士学位论文全文数据库信息科技辑》;20181015(第10期);全文 *

Also Published As

Publication number Publication date
CN110113761A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN110113761B (zh) 一种流数据处理应用在边缘计算网络中的部署方法和装置
CN109818865B (zh) 一种sdn增强路径装箱装置及方法
CN108566659B (zh) 一种基于可靠性的5g网络切片在线映射方法
CN113709876B (zh) 卫星业务资源分配方法及电子设备
CN112738820A (zh) 一种服务功能链的动态部署方法、装置及计算机设备
CN110087250B (zh) 一种基于多目标联合优化模型的网络切片编排方案及其方法
CN110505539B (zh) 物理光网络虚拟化映射方法、装置、控制器及存储介质
CN111682891A (zh) 一种面向高动态卫星网络的虚拟网络映射方法
CN104601680B (zh) 一种资源管理方法及装置
CN101710904B (zh) P2p流量优化方法及其系统
CN109614215A (zh) 基于深度强化学习的流调度方法、装置、设备及介质
CN103001892B (zh) 基于云计算的网络资源分配方法及系统
CN101739836A (zh) 大规模路网下中心式实时动态交通诱导路径优化方法
US20160269297A1 (en) Scaling the LTE Control Plane for Future Mobile Access
CN114500405A (zh) 一种多类型业务应用的资源分配、获取方法及装置
CN103023936B (zh) 一种多层次网络系统及基于该网络系统的任务执行方法
CN107124303A (zh) 低传输时延的服务链优化方法
CN109873772A (zh) 基于稳定匹配的流调度方法、装置、计算机设备及存储介质
Liu et al. On optimal hierarchical SDN
KR20160040092A (ko) 유틸리티-기반 크로스 레이어링
CN117097806A (zh) 一种微服务调用图部署和请求路由联合优化方法及系统
CN109063121A (zh) 数据存储方法、装置、计算机设备及计算机存储介质
CN115277429A (zh) 基于灵活以太网的电力通信业务资源分配方法及装置
Yaghoubpour et al. End-to-end delay guaranteed Service Function Chain deployment: A multi-level mapping approach
CN117579550A (zh) 一种基于可编程交换机和容器状态信息卸载的路由方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant