CN109617710B - 数据中心间有截止时间约束的大数据传输带宽调度方法 - Google Patents

数据中心间有截止时间约束的大数据传输带宽调度方法 Download PDF

Info

Publication number
CN109617710B
CN109617710B CN201811330842.8A CN201811330842A CN109617710B CN 109617710 B CN109617710 B CN 109617710B CN 201811330842 A CN201811330842 A CN 201811330842A CN 109617710 B CN109617710 B CN 109617710B
Authority
CN
China
Prior art keywords
path
bandwidth
request
time slot
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811330842.8A
Other languages
English (en)
Other versions
CN109617710A (zh
Inventor
吴奇石
乔芮敏
侯爱琴
严丽荣
许明睿
张晓阳
房鼎益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN201811330842.8A priority Critical patent/CN109617710B/zh
Publication of CN109617710A publication Critical patent/CN109617710A/zh
Application granted granted Critical
Publication of CN109617710B publication Critical patent/CN109617710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0896Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/12Shortest path evaluation
    • H04L45/125Shortest path evaluation based on throughput or bandwidth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/30Routing of multiclass traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于计算机网络技术领域,具体公开了一种数据中心间有截止时间约束的大数据传输带宽调度方法,首先将用户输入请求分为固定带宽的大数据请求和可变带宽的大数据请求两种类型,并进行排序,然后依次按照排序后的请求序列进行判断处理,并采用两种不同的方法分别对固定带宽的大数据请求和可变带宽的大数据请求进行处理;本发明能够传输固定带宽的大数据传输请求和带宽可变的大数据传输请求两种不同类型的用户请求;针对固定带宽的大数据传输请求的处理,能够快速完成请求传输;针对可变带宽的大数据传输请求的处理,能够使调度成功率和用户满意度最大化,本发明提高了用户请求的调度成功率,充分利用了网络资源。

Description

数据中心间有截止时间约束的大数据传输带宽调度方法
技术领域
本发明属于计算机网络技术领域,涉及一种数据中心间有截止时间约束的大数据传输带宽调度方法。
背景技术
与Internet服务提供商(ISPs)类似,云服务提供商(CSPs)旨在利用现有网络资源满足尽可能多的客户的数据传输需求。许多大型CSPs都在不同的地方部署了数据中心(DCs)来为客户提供各类服务,这些数据中心通常通过高带宽的广域网(WAN)连接,现有的高性能网络中的带宽调度方法考虑的是单一类型的大数据传输请求,不能满足当下需要传输多种用户请求的要求,且对网络资源充分利用率低。接收尽可能多的数据传输请求,同时最大化整个网络系统的吞吐量,以提高整个网络资源的利用率是CSP面临的一个重要技术挑战。
发明内容
针对现有技术中存在的单一类型的大数据传输请求,不能满足需要传输多种用户请求,且对网络资源利用率低的问题,本发明的目的在于,提供了一种数据中心间有截止时间约束的大数据传输带宽调度方法。
为了实现上述目的,本申请采用如下技术方案予以实现:
一种数据中心间有截止时间约束的大数据传输带宽调度方法,具体包括以下步骤:
步骤1,将用户输入的多个请求Ri分为固定带宽的大数据请求FBBR和可变带宽的大数据请求VBBR两种类型,并基于分类结果对所有请求进行排序,得到排序后的请求序列;
其中,Ri表示第i个请求,Ri表示为
Figure BDA0001859931560000021
其中
Figure BDA0001859931560000022
为第i个请求的源节点;
Figure BDA0001859931560000023
为第i个请求的目的节点;
Figure BDA0001859931560000024
是第i个请求的截止时间,
Figure BDA0001859931560000025
δi为第i个请求的数据量,δi>0;
Figure BDA0001859931560000026
为第i个请求的最大带宽,
Figure BDA0001859931560000027
Figure BDA0001859931560000028
为第i个请求的布尔变量;
步骤2,对排序后的请求序列中的请求依次进行处理,在当前请求为固定带宽的大数据请求FBBR时,执行步骤3;在当前请求为可变带宽的大数据请求VBBR时,执行步骤4;
步骤3,根据当前请求的截止时间,得到时隙组合序列,将时隙组合序列中的第一个时隙组合作为当前时隙组合,对当前时隙组合中的路径进行如下操作:
对当前时隙组合中的路径进行处理,得到当前请求在具有带宽预留机制的网络中的最终传输路径,并在所述最终传输路径上传输当前请求的数据量;
当所述最终传输路径能够传输的数据量大于等于当前请求的数据量时,当前请求操作结束;
当所述最终传输路径能够传输的数据量大于等于当前请求的数据量不满足时,对所述时隙组合序列中的下一个时隙组合的路径执行与当前时隙组合中的路径相同的操作,同时删去当前时隙组合;直至所述时隙组合序列中时隙组合个数为零,当前请求操作结束;
步骤4,根据当前请求的截止时间得到时隙k,其中,k为大于等于0的整数;并计算得到传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽;时隙m依次取0,1,…,k,将第一个时隙作为当前时隙;根据得到的带宽,对当前时隙中的路径进行如下操作:
对当前时隙中的路径进行处理,得到最大带宽的路径,并在所述路径上传输当前请求的数据量;
当所述路径的最大带宽大于等于当前请求的数据量时,当前请求操作结束;
当所述路径的最大带宽小于δi时,将请求传输的剩余数据量作为当前请求的数据量,并对时隙m的下一个时隙中的路径执行与当前时隙中的路径相同的操作,同时删去当前时隙;直至时隙个数为零,当前请求操作结束。
进一步的,所述步骤1具体操作如下:
对用户输入的多个请求,按照请求的截止时间从小到大的顺序对请求进行排序;当请求的截止时间相等时,按照截止时间相等的请求的数据量从小到大的顺序对请求进行排序;当请求的截止时间相等,且请求的数据量相等时,按照固定带宽的大数据请求FBBR优先于可变带宽的大数据请求VBBR的顺序对请求进行排序;最终得到排序后的请求序列R1,R2,…Ri,…RI,其中I表示请求的总数,0<i≤I,I为大于等于2的整数。
进一步的,所述步骤3具体操作如下:
步骤31,通过当前请求的截止时间ti d,得到所述截止时间所在的时隙
Figure BDA0001859931560000031
k为大于等于0的整数,j表示请求的时间间隔,且j>0;以q为结束时隙,p为起始时隙,进行如下运算得到时隙组合[p,q]的序列:将q依次取0,1,2,…,k;对于每个q,p依次取q,q-1,…,0;
其中,所述时隙组合[p,q]表示0时隙和q时隙以及0到q之间的所有时隙;
步骤32,将时隙组合序列中第一个时隙组合作为当前时隙组合;
步骤33,在当前时隙组合中,对传输请求的具有带宽预留机制的网络中的可变路径固定带宽路径采用路径寻找算法得到一条最大带宽为b1的路径,其中b1≥0;所述具有带宽预留机制的网络中可变路径固定带宽路径是指多条不同的路径的集合,不同路径的带宽不同,且每条路径带宽固定不变;
步骤34,在当前时隙组合中,对所述具有带宽预留机制的网络中的固定路径固定带宽路径采用路径寻找算法得到一条最大带宽为b2的路径,其中b2≥0,所述具有带宽预留机制的网络中的固定路径固定带宽路径指多条不同的路径集合,不同路径的带宽不同,且每条路径带宽固定不变;
步骤35,选取b1和b2两者的较大值所对应的路径作为当前请求的最终传输路径;
步骤36,当前请求沿所述最终传输路径进行传输,当条件
Figure BDA0001859931560000041
满足时,表示当前请求传输的数据量传输成功,当前请求操作结束;
当条件
Figure BDA0001859931560000042
不满足时,表示当前请求传输的数据量传输失败;此时将时隙组合序列中的下一个时隙组合作为当前时隙组合,返回步骤33,同时删去当前时隙组合;直至所述时隙组合序列中时隙组合个数为零,当前请求操作结束;
其中,b[p,q]=max(b1,b2),δi表示当前请求传输的数据量,t[q+1]表示q+1时隙的起始时间,t[q+1]>0,t[p]表示p时隙的起始时间,t[p]≥0。
进一步的,所述步骤4具体操作如下:
步骤41,通过当前请求的截止时间ti d,得到所述截止时间所在的时隙
Figure BDA0001859931560000051
k为大于等于0的整数,j为请求的时间间隔;计算传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽
Figure BDA0001859931560000052
其中
Figure BDA0001859931560000053
为当前请求的最大带宽,
Figure BDA0001859931560000054
Cl为网络中每条边带宽的初始容量,Cl>0;
步骤42,在当前时隙m中,根据所述具有带宽预留机制的网络的路径中各链路每条边的带宽bl,对所述具有带宽预留机制的网络中的可变路径可变带宽路径采用路径寻找算法得到一条最大带宽的路径;其中,m依次取0,1,…,k;所述具有带宽预留机制的网络中可变路径可变带宽路径指多条不同的集合,不同时隙路径可变,不同时隙带宽可变;
步骤43,当步骤42中得到的路径的最大带宽大于等于δi时,表示当前请求的数据量传输成功,当前请求操作结束;当所述路径的最大带宽小于δi时,表示当前请求的数据量传输失败,将请求传输的剩余剩余数据量δi'=δi-bi[q]·(ti[q+1]-ti[q])作为当前请求的数据量,当前时隙m的下一个时隙作为当前时隙,返回步骤42,同时删去当前时隙;直至时隙个数为零,当前请求操作结束;
其中,bi[q]表示q时隙上的带宽;ti[q+1]表示q+1时隙的起始时间,ti[q+1]>0;ti[q]表示q时隙的起始时间,ti[q]≥0。
与现有技术相比,本发明的有益效果如下:
1、本发明能够传输要求吞吐量稳定的大数据传输请求(固定带宽的大数据传输请求FBBR)和吞吐量最大化的大数据传输请求(带宽可变的大数据传输请求VBBR)两种不同类型的请求,针对不同的请求采用不同的服务模式,提高了用户请求的调度成功率,更充分的利用了网络资源。
2、本发明处理固定带宽的大数据传输请求FBBR时,针对每个时隙组合,使用对高性能网络中的固定路径固定带宽路径和可变路径固定带宽路径分别采用路径寻找算法得到一条最大带宽路径这两种调度模式,并选择两者中的最大带宽所在路径作为请求的最终传输路径,可更快的完成固定带宽的大数据请求传输。
3、本发明处理可变带宽的大数据传输请求时,在每个时隙中,针对高性网络中的可变路径可变带宽路径采用路径寻找算法得到最大带宽路径的调度模式进行调度,使调度成功率和用户满意度最大化。
附图说明
图1为本发明的流程图;
图2为网络拓扑的示例和该拓扑中两条边的带宽示例图;
图3为ESnet5的拓扑图;
图4为本发明与OptFPFB-MRVT、Fixed-MRVT两个算法在ESnet5网络中用户满意度USD的对比图;
图5为本发明与OptFPFB-MRVT、Fixed-MRVT两个算法在ESnet网络中调度成功率SSR的对比图;
图6为本发明与OptFPFB-MRVT、Fixed-MRVT两个算法在不同的随机网络中调度500个大数据传输请求的用户满意度USD的对比图;
图7为本发明与OptFPFB-MRVT、Fixed-MRVT两个算法在不同的随机网络中调度500个大数据传输请求的调度成功率SSR的对比图;
图8为本发明与OptFPFB-MRVT、Fixed-MRVT两个算法在不同的随机网络中调度不同数量的大数据传输请求的用户满意度USD的对比图;
图9为本发明与OptFPFB-MRVT、Fixed-MRVT两个算法在不同的随机网络中调度不同数量的大数据传输请求的调度成功率SSR的对比图。
具体实施方式
本发明提供的一种数据中心间有截止时间约束的大数据传输带宽调度方法,包括以下步骤:
步骤1,将用户输入的多个请求Ri分为固定带宽的大数据请求FBBR和可变带宽的大数据请求VBBR两种类型,并基于分类结果对所有请求进行排序,得到排序后的请求序列;
其中,Ri表示第i个请求,Ri表示为
Figure BDA0001859931560000071
其中
Figure BDA0001859931560000072
为第i个请求的源节点;
Figure BDA0001859931560000073
为第i个请求的目的节点;
Figure BDA0001859931560000074
是第i个请求的截止时间,
Figure BDA0001859931560000081
δi为第i个请求的数据量,δi>0;
Figure BDA0001859931560000082
为第i个请求的最大带宽,
Figure BDA0001859931560000083
Figure BDA0001859931560000084
为第i个请求的布尔变量,当布尔变量的值为true表示第i个请求为固定带宽的大数据请求FBBR,当布尔变量的值为false表示第i个请求为可变带宽的大数据请求VBBR;
步骤2,对排序后的请求序列中的请求依次进行处理,在当前请求为固定带宽的大数据请求FBBR时,执行步骤3;在当前请求为可变带宽的大数据请求VBBR时,执行步骤4;
步骤3,根据当前请求的截止时间,得到时隙组合序列,将时隙组合序列中的第一个时隙组合作为当前时隙组合,对当前时隙组合中的路径进行如下操作:
对当前时隙组合中的路径进行处理,得到当前请求在具有带宽预留机制的网络中的最终传输路径,并在所述最终传输路径上传输当前请求的数据量;
当所述最终传输路径能够传输的数据量大于等于当前请求的数据量时,表示当前请求的数据量传输成功,当前请求操作结束;
当所述最终传输路径能够传输的数据量大于等于当前请求的数据量不满足时,表示当前请求的数据量传输失败,对所述时隙组合序列中的下一个时隙组合的路径执行与当前时隙组合中的路径相同的操作,同时删去当前时隙组合;直至所述时隙组合序列中时隙组合个数为零,当前请求操作结束;
步骤4,根据当前请求的截止时间得到时隙k,其中,k为大于等于0的整数;并计算得到传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽;时隙m依次取0,1,…,k,将第一个时隙作为当前时隙;根据得到的带宽,对当前时隙中的路径进行如下操作:
对当前时隙中的路径进行处理,得到最大带宽的路径,并在所述路径上传输当前请求的数据量;
当所述路径的最大带宽大于等于当前请求的数据量时,表示当前请求的数据量传输成功,当前请求操作结束;
当所述路径的最大带宽小于δi时,表示当前请求的数据量传输失败,将请求传输的剩余数据量作为当前请求的数据量,并对时隙m的下一个时隙中的路径执行与当前时隙中的路径相同的操作,同时删去当前时隙;直至时隙个数为零,当前请求操作结束。
本发明能够传输吞吐量稳定的大数据传输请求(固定带宽的大数据传输请求FBBR)和吞吐量最大化的大数据传输请求(带宽可变的大数据传输请求VBBR)两种不同类型的请求,针对不同类型的请求采用不同的服务模式,提高了请求的调度成功率,更充分的利用了网络资源。
具体的,所述步骤1具体操作如下:
对用户输入的多个请求,按照请求的截止时间从小到大的顺序对请求进行排序;当请求的截止时间相等时,按照截止时间相等的请求的数据量从小到大的顺序对请求进行排序;当请求的截止时间相等,且请求的数据量相等时,按照固定带宽的大数据请求FBBR优先于可变带宽的大数据请求VBBR的顺序对请求进行排序;最终得到排序后的请求序列R1,R2,…Ri,…RI,其中I表示请求的总数,0<i≤I,I为大于等于2的整数;
该方式中所述用户请求分为固定带宽的大数据请求FBBR和可变带宽的大数据请求VBBR两种类型,,避免了仅对单一类型的请求进行处理,通过对请求进行排序,在处理请求过程中,按照请求序列的先后顺序,可提高整体的数据传输率。
具体的,所述步骤3具体操作如下:
步骤31,通过当前请求的截止时间ti d,得到所述截止时间所在的时隙
Figure BDA0001859931560000101
k为大于等于0的整数,j表示请求的时间间隔,且j>0;以q为结束时隙,p为起始时隙,进行如下运算得到时隙组合[p,q]的序列:将q依次取0,1,2,…,k;对于每个q,p依次取q,q-1,…,0;
其中,所述时隙组合[p,q]表示0时隙和q时隙以及0到q之间的所有时隙;
步骤32,将时隙组合序列中第一个时隙组合作为当前时隙组合;
步骤33,在当前时隙组合中,对传输请求的具有带宽预留机制的网络中的可变路径固定带宽路径采用路径寻找算法得到一条最大带宽为b1的路径,其中b1≥0;所述具有带宽预留机制的网络中可变路径固定带宽路径是指多条不同的路径的集合,不同路径的带宽不同,且每条路径带宽固定不变;
步骤34,在当前时隙组合中,对所述具有带宽预留机制的网络中的固定路径固定带宽路径采用路径寻找算法得到一条最大带宽为b2的路径,其中b2≥0,所述具有带宽预留机制的网络中的固定路径固定带宽路径指多条不同的路径集合,不同路径的带宽不同,且每条路径带宽固定不变;
步骤35,选取b1和b2两者的较大值所对应的路径作为当前请求的最终传输路径;
步骤36,当前请求沿所述最终传输路径进行传输,当条件
Figure BDA0001859931560000111
满足时,表示当前请求的数据量传输成功,当前请求操作结束;
当条件
Figure BDA0001859931560000112
不满足时,表示当前请求的数据量传输失败;此时将时隙组合序列中的下一个时隙组合作为当前时隙组合,返回步骤33,同时删去当前时隙组合;直至所述时隙组合序列中时隙组合个数为零,当前请求操作结束;
其中,b[p,q]=max(b1,b2),δi表示当前请求传输的数据量,t[q+1]表示q+1时隙的起始时间,t[q+1]>0,t[p]表示p时隙的起始时间,t[p]≥0。
上述方式针对固定带宽的大数据传输请求FBBR,针对每个时隙组合,使用对高性能网络中的固定路径固定带宽路径和可变路径固定带宽路径分别采用路径寻找算法得到一条最大带宽路径这两种调度模式,并选择两者中的最大带宽所在路径作为请求的最终传输路径,可更快的完成固定带宽的大数据请求传输。
具体的,所述步骤4具体操作如下:
步骤41,通过当前请求的截止时间ti d,得到所述截止时间所在的时隙
Figure BDA0001859931560000113
k为大于等于0的整数,j为请求的时间间隔;计算传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽
Figure BDA0001859931560000121
其中
Figure BDA0001859931560000122
为当前请求的最大带宽,
Figure BDA0001859931560000123
Cl为网络中每条边带宽的初始容量,Cl>0;
步骤42,在当前时隙m中,根据所述具有带宽预留机制的网络的路径中各链路每条边的带宽bl,对所述具有带宽预留机制的网络中的可变路径可变带宽路径采用路径寻找算法得到一条最大带宽的路径;其中,m依次取0,1,…,k;所述具有带宽预留机制的网络中可变路径可变带宽路径指多条不同的集合,不同时隙路径可变,不同时隙带宽可变;
步骤43,当步骤42中得到的路径的最大带宽大于等于δi时,表示当前请求的数据量传输成功,当前请求操作结束;当所述路径的最大带宽小于δi时,表示当前请求的数据量传输失败,将请求传输的剩余剩余数据量δi'=δi-bi[q]·(ti[q+1]-ti[q])作为当前请求的数据量,当前时隙m的下一个时隙作为当前时隙,返回步骤42,同时删去当前时隙;直至时隙个数为零,当前请求操作结束;
其中,bi[q]表示q时隙上的带宽;ti[q+1]表示q+1时隙的起始时间,ti[q+1]>0;ti[q]表示q时隙的起始时间,ti[q]≥0。
上述方式针对可变带宽的大数据传输请求,在每个时隙中,针对高性网络中的可变路径可变带宽路径采用路径寻找算法得到最大带宽路径的调度模式进行调度,使调度成功率和用户满意度最大化。
实施例
为了更好的解释本发明的方法,在图2表示的网络上传输表1中的用户输入请求,图2中各个链路的可用带宽见表2,具体处理如下:
表1
R<sub>1</sub>(FBBR):(v<sup>s</sup>,v<sup>d</sup>,4s,10Gb,15Gb/s,true)
R<sub>2</sub>(VBBR):(v<sup>s</sup>,v<sup>d</sup>,5s,20Gb,12Gb/s,false)
表2
Figure BDA0001859931560000131
步骤1,对表1中的两个用户输入请求排序,得到排序后的请求序列R1,R2
步骤2,依次对排序后的请求序列依次进行处理;
处理请求R1:判断R1为固定带宽的大数据请求FFBR;
结合表2,通过截止时间4s得到时隙3,计算时隙组合的序列为:[0,0],[1,1],[0,1],[2,2],[1,2][0,2],[3,3],[2,3],[1,3],[0,3]
对[0,0]时隙中,对传输请求的高性能网络中的可变路径固定带宽路径采用的路径寻找算法得到vs-v1-vd路径,b1=4Gb/s,对所述高性能网络中的固定路径固定带宽路径采用路径寻找算法得到vs-v1-vd路径,b2=4Gb/s,选取b1所在的vs-v1-vd路径作为该请求的最终传输路径,判断得出不能成功传输该请求数据量;
对下一个时隙[1,1],对可变路径固定带宽路径采用路径寻找算法得到vs-v2-vd路径,b1=14Gb/s,对固定路径固定带宽路径采用路径寻找算法得到vs-v2-vd路径,b2=14Gb/s,在时间区间[1,1]内找到拥有最大带宽14Gb/s的固定路径固定带宽路径vs-v2-vd作为该请求的最终传输路径,并判断得出成功传输该请求数据量,根据
Figure BDA0001859931560000141
得到
Figure BDA0001859931560000142
根据
Figure BDA0001859931560000143
得到用户满意度
Figure BDA0001859931560000144
然后处理R2:判断R2为可变带宽的大数据请求VBBR;结合表2,通过截止时间5s得到时隙4;
在时隙0用可变路径可变带宽的路径寻找算法找到vs-v1-vd路径,路径带宽4Gb/s,剩余要传输的数据量为:
δ2'=δ2-b2[q]·(t2[q+1]-t2[q])=16Gb,判断得出不能成功传输请求的数据量;
在时隙1用可变路径可变带宽的路径寻找算法找到vs-v1-vd路径,路径带宽2Gb/s,剩余要传输的数据量为:
δ2'=δ2-b2[q]·(t2[q+1]-t2[q])=14Gb/s,判断得出不能成功传输请求的数据量;
在时隙2用可变路径可变带宽的路径寻找算法找到vs-v2-vd路径,路径带宽17Gb/s,成功传输剩余数据量;根据
Figure BDA0001859931560000145
得到传输结束时间为
Figure BDA0001859931560000146
根据
Figure BDA0001859931560000147
得到用户满意度为
Figure BDA0001859931560000148
步骤3,由于R1和R2请求的数据量成功传输,得到总成功传输的请求数为2,计算得到总用户满意度USD=usd1+usd2=0.7+0.639=1.339,调度成功率SSR=成功调度的请求数/总请求数=100%.
实验验证:
为了验证本发明提出的数据中心间有截止时间约束的大数据传输带宽调度方法(即FMS-MRVT)的性能,分别在ESnet5网络、表3规模的随机网络及网络规模和大数据传输请求数量同时变化的三种实验环境下进行评估,并与OptFPFB-MRVT、Fixed-MRVT两个算法进行对比。
表3
Figure BDA0001859931560000151
设定总的时隙为20个时间单位,起始时间为0,网络中链路上的带宽满足正态分布,即
Figure BDA0001859931560000152
其中bmax设置为100Gb/s,x的变化区间为(0,1]。随机产生100-1500个大数据传输请求,每一个请求
Figure BDA0001859931560000153
Figure BDA0001859931560000154
Figure BDA0001859931560000155
是两个随机选择的节点,
Figure BDA0001859931560000156
为1到20的一个随机的整数,
Figure BDA0001859931560000157
是区间[1Gbps,20Gbps]的一个随机的整数,δi是一个不大于
Figure BDA0001859931560000158
的整数,
Figure BDA0001859931560000159
是一个随机的布尔值。
(1)在ESnet5网络中的性能对比
在ESnet5环境下,根据三种方法得到的用户满意度USD(如图4所示)和调度成功率SSR(如图5所示),从图4和图5可以得出本法明的方法分别与OptFPFB-MRVT和Fixed-MRVT相比,用户满意度分别高18%-22%和15%-20%,成功率分别高50%和3-5倍。
(2)在随机的网络中的性能对比
在表3中的15种不同规模的随机网络中设置数量为500个的大数据传输请求,根据三种方法得到的用户满意度USD(如图6所示)和调度成功率SSR(如图7所示),从图6和图7可以得到本发明提供的方法分别与OptFPFB-MRVT和Fixed-MRVT相比,用户满意度分别高23%-26%和17%-24%,调度成功率分别高50%和3倍。
(3)网络和用户请求数量同时变化时的性能对比
在表3中的随机网络中调度100-1500个随机的大数据传输请求,根据三种方法得到的用户满意度USD(如图8所示)和调度成功率SSR(如图9所示),从图8和图9中可以得出,本发明提供的方法分别与OptFPFB-MRVT和Fixed-MRVT相比,当网络规模增大时,USD和SSR增大,发明提供的方法具有更好的性能。

Claims (2)

1.一种数据中心间有截止时间约束的大数据传输带宽调度方法,其特征在于,具体包括以下步骤:
步骤1,将用户输入的多个请求Ri分为固定带宽的大数据请求FBBR和可变带宽的大数据请求VBBR两种类型,并基于分类结果对所有请求进行排序,得到排序后的请求序列;
其中,Ri表示第i个请求,Ri表示为
Figure FDA0002491381520000011
其中
Figure FDA0002491381520000012
为第i个请求的源节点;
Figure FDA0002491381520000013
为第i个请求的目的节点;
Figure FDA0002491381520000014
是第i个请求的截止时间,
Figure FDA0002491381520000015
δi为第i个请求的数据量,δi>0;
Figure FDA0002491381520000016
为第i个请求的最大带宽,
Figure FDA0002491381520000017
Figure FDA0002491381520000018
为第i个请求的布尔变量;
步骤2,对排序后的请求序列中的请求依次进行处理,在当前请求为固定带宽的大数据请求FBBR时,执行步骤3;在当前请求为可变带宽的大数据请求VBBR时,执行步骤4;
步骤3,具体操作如下:
步骤31,通过当前请求的截止时间ti d,得到所述截止时间所在的时隙
Figure FDA0002491381520000019
k为大于等于0的整数,j表示请求的时间间隔,且j>0;以q为结束时隙,p为起始时隙,进行如下运算得到时隙组合[p,q]的序列:将q依次取0,1,2,…,k;对于每个q,p依次取q,q-1,…,0;
其中,所述时隙组合[p,q]表示0时隙和q时隙以及0到q之间的所有时隙;
步骤32,将时隙组合序列中第一个时隙组合作为当前时隙组合;
步骤33,在当前时隙组合中,对传输请求的具有带宽预留机制的网络中的可变路径固定带宽路径采用路径寻找算法得到一条最大带宽为b1的路径,其中b1≥0;所述具有带宽预留机制的网络中可变路径固定带宽路径是指多条在不同时隙最大带宽路径的集合,不同路径的带宽不同,且每条路径带宽固定不变;
步骤34,在当前时隙组合中,对所述具有带宽预留机制的网络中的固定路径固定带宽路径采用路径寻找算法得到一条最大带宽为b2的路径,其中b2≥0,所述具有带宽预留机制的网络中的固定路径固定带宽路径指多条不同的路径集合,不同路径的带宽不同,且每条路径带宽固定不变;
步骤35,选取b1和b2两者的较大值所对应的路径作为当前请求的最终传输路径;
步骤36,当前请求沿所述最终传输路径进行传输,当条件
Figure FDA0002491381520000021
满足时,表示当前请求的数据量传输成功,当前请求操作结束;
当条件
Figure FDA0002491381520000022
不满足时,表示当前请求的数据量传输失败;此时将时隙组合序列中的下一个时隙组合作为当前时隙组合,返回步骤33,同时删去当前时隙组合;直至所述时隙组合序列中时隙组合个数为零,当前请求操作结束;
其中,b[p,q]=max(b1,b2),δi表示当前请求传输的数据量,t[q+1]表示q+1时隙的起始时间,t[q+1]>0,t[p]表示p时隙的起始时间,t[p]≥0;
步骤4,根据当前请求的截止时间得到时隙k,其中,k为大于等于0的整数;并计算得到传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽;时隙m依次取0,1,…,k,将第一个时隙作为当前时隙;根据得到的带宽,对当前时隙中的路径进行如下操作:
对当前时隙中的路径进行处理,得到最大带宽的路径,并在所述路径上传输当前请求的数据量;
当所述路径的最大带宽大于等于当前请求的数据量时,当前请求操作结束;
当所述路径的最大带宽小于δi时,将请求传输的剩余数据量作为当前请求的数据量,并对时隙m的下一个时隙中的路径执行与当前时隙中的路径相同的操作,同时删去当前时隙;直至时隙个数为零,当前请求操作结束;
步骤4具体操作如下:
步骤41,通过当前请求的截止时间ti d,得到所述截止时间所在的时隙
Figure FDA0002491381520000031
k为大于等于0的整数,j为请求的时间间隔;计算传输当前请求的具有带宽预留机制的网络中各链路每条边的带宽
Figure FDA0002491381520000032
其中
Figure FDA0002491381520000033
为当前请求的最大带宽,
Figure FDA0002491381520000034
Cl为网络中每条边带宽的初始容量,Cl>0;
步骤42,在当前时隙m中,根据所述具有带宽预留机制的网络的路径中各链路每条边的带宽bl,对所述具有带宽预留机制的网络中的可变路径可变带宽路径采用路径寻找算法得到一条最大带宽的路径;其中,m依次取0,1,…,k;所述具有带宽预留机制的网络中可变路径可变带宽路径指不同时隙里具有最大带宽的路径序列,不同时隙路径可变,不同时隙带宽可变;
步骤43,当步骤42中得到的路径的最大带宽大于等于δi时,表示当前请求的数据量传输成功,当前请求操作结束;当所述路径的最大带宽小于δi时,表示当前请求的数据量传输失败,将请求传输的剩余剩余数据量δi'=δi-bi[q]·(ti[q+1]-ti[q])作为当前请求的数据量,当前时隙m的下一个时隙作为当前时隙,返回步骤42,同时删去当前时隙;直至时隙个数为零,当前请求操作结束;
其中,bi[q]表示q时隙上的带宽;ti[q+1]表示q+1时隙的起始时间,ti[q+1]>0;ti[q]表示q时隙的起始时间,ti[q]≥0。
2.如权利要求1所述的数据中心间有截止时间约束的大数据传输带宽调度方法,其特征在于,所述步骤1具体操作如下:
对用户输入的多个请求,按照请求的截止时间从小到大的顺序对请求进行排序;当请求的截止时间相等时,按照截止时间相等的请求的数据量从小到大的顺序对请求进行排序;当请求的截止时间相等,且请求的数据量相等时,按照固定带宽的大数据请求FBBR优先于可变带宽的大数据请求VBBR的顺序对请求进行排序;最终得到排序后的请求序列R1,R2,…Ri,…RI,其中I表示请求的总数,0<i≤I,I为大于等于2的整数。
CN201811330842.8A 2018-11-09 2018-11-09 数据中心间有截止时间约束的大数据传输带宽调度方法 Active CN109617710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811330842.8A CN109617710B (zh) 2018-11-09 2018-11-09 数据中心间有截止时间约束的大数据传输带宽调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811330842.8A CN109617710B (zh) 2018-11-09 2018-11-09 数据中心间有截止时间约束的大数据传输带宽调度方法

Publications (2)

Publication Number Publication Date
CN109617710A CN109617710A (zh) 2019-04-12
CN109617710B true CN109617710B (zh) 2020-07-07

Family

ID=66003689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811330842.8A Active CN109617710B (zh) 2018-11-09 2018-11-09 数据中心间有截止时间约束的大数据传输带宽调度方法

Country Status (1)

Country Link
CN (1) CN109617710B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110417682B (zh) * 2019-06-24 2022-07-29 西北大学 一种高性能网络中的周期调度方法
CN110430264B (zh) * 2019-08-05 2020-09-25 江苏普旭软件信息技术有限公司 一种云计算中的数据读取方法
CN113114586B (zh) * 2021-03-18 2022-07-29 西北大学 一种基于单时隙动态优先级的带宽调度方法及系统
CN114826925B (zh) * 2022-04-01 2023-05-09 西北大学 一种数据中心间基于成本时序的大数据传输带宽调度方法
CN115396315B (zh) * 2022-07-29 2023-09-15 西北大学 基于高性能网络的数据中心间多类别混合流带宽调度方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911567A (zh) * 2017-01-13 2017-06-30 西北大学 面向大数据的高性能网络中多条固定路径带宽调度方法
CN107483355A (zh) * 2017-09-08 2017-12-15 清华大学 面向数据中心的在线场景低带宽开销流量调度方案
CN108600098A (zh) * 2018-03-09 2018-09-28 西北大学 一种高性能网络中多条可变路径固定带宽的调度方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911567A (zh) * 2017-01-13 2017-06-30 西北大学 面向大数据的高性能网络中多条固定路径带宽调度方法
CN107483355A (zh) * 2017-09-08 2017-12-15 清华大学 面向数据中心的在线场景低带宽开销流量调度方案
CN108600098A (zh) * 2018-03-09 2018-09-28 西北大学 一种高性能网络中多条可变路径固定带宽的调度方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bandwidth acheduling for big data transfer using multiple fixed node-disjoint paths;侯爱琴等;《Journal of network and computer applications》;20161208;全文 *
Bandwidth Scheduling for Big Data Transfer with Multiple Variable Node-Disjoint Paths in High-performance Networks;侯爱琴等;《In Proceedings of the 35th IEEE International Performance Computing and Communications Conference》;20161209;全文 *
On Periodic Scheduling of Bandwidth Reservations with Deadline Constraint for Big Data Transfer;王永强等;《Proceeding of the 4th IEEE Conference on Local Computer Networks》;20161107;全文 *

Also Published As

Publication number Publication date
CN109617710A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109617710B (zh) 数据中心间有截止时间约束的大数据传输带宽调度方法
CN109561148B (zh) 边缘计算网络中基于有向无环图的分布式任务调度方法
Li et al. Efficient online coflow routing and scheduling
CN102170396B (zh) 一种基于区分服务的云存储系统QoS控制方法
CN105934928B (zh) 在分布式资源系统中用户请求的调度方法、装置和系统
CN103309738B (zh) 用户作业调度方法及装置
CN107454019B (zh) 软件定义网络动态带宽分配方法、装置、设备及存储介质
CN106878415B (zh) 数据消费的负载均衡方法及装置
CN112822051B (zh) 基于业务感知的业务加速方法
CN104881322A (zh) 一种基于装箱模型的集群资源调度方法及装置
CN108600098B (zh) 一种高性能网络中多条可变路径固定带宽的调度方法
WO2015196940A1 (zh) 一种流处理方法、装置及系统
EP3012742B1 (en) Data distribution system, data communication device and program for data distribution
CN110084507A (zh) 云计算环境下分级感知的科学工作流调度优化方法
CN116302404B (zh) 面向资源解耦合数据中心的服务器无感知计算调度方法
WO2021000694A1 (zh) 一种部署业务的方法以及调度装置
CN105872109B (zh) 云平台负载运行方法
CN108833295B (zh) 面向sdn的基于禁忌搜索的虚拟网络重配置方法
CN106210120B (zh) 一种服务器的推荐方法及其装置
CN110365608B (zh) 一种容忍不完整数据传输的流组传输调度方法
CN111444183B (zh) 一种键值存储系统中的分布式自适应用户请求调度方法
CN114090218A (zh) 边缘计算环境下动态任务复制方法、设备和系统
CN116339932A (zh) 资源调度方法、装置和服务器
Wang et al. Efficient and fair: Information-agnostic online coflow scheduling by combining limited multiplexing with DRL
CN116360987B (zh) 一种自适应负载均衡方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant