CN106533981B - 一种基于多属性的大数据流量调度方法及装置 - Google Patents
一种基于多属性的大数据流量调度方法及装置 Download PDFInfo
- Publication number
- CN106533981B CN106533981B CN201611178124.4A CN201611178124A CN106533981B CN 106533981 B CN106533981 B CN 106533981B CN 201611178124 A CN201611178124 A CN 201611178124A CN 106533981 B CN106533981 B CN 106533981B
- Authority
- CN
- China
- Prior art keywords
- coflow
- priority
- data
- preset threshold
- width
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/6215—Individual queue per QOS, rate or priority
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种基于多属性的大数据流量调度方法及装置。方法包括:在数据传输过程中,确定待调度的大数据流量Coflow,其中,该Coflow设置有优先级;判断该Coflow的宽度是否大于第一预设阈值;当判断结果为是时,监测该Coflow的长度是否大于第二预设阈值,若大于,降低该Coflow的优先级;当判断结果为否时,监测该Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低该Coflow的优先级。通过本方案,可以降低网络中Coflow的平均传输时间。
Description
技术领域
本发明涉及互联网技术领域,特别是涉及一种基于多属性的大数据流量调度方法及装置。
背景技术
近年来,大数据处理架构,如:MapReduce、Dryad、Spark等,被广泛的应用在数据中心进行大数据分析。在上述架构中,一个大数据的分析任务通常包含多个不同的阶段,相邻的两个阶段之间需要传输大量的数据,只有当这些数据都传输完成时,下一个阶段才能开始;其中,数据传输过程中一般包含了许多并行的数据流,这些数据流可以被抽象成为一个Coflow(大数据流量)。因此,大数据分析任务的完成时间在很大程度上取决于所产生的大数据流量的传输效率,据相关研究分析表明,Coflow的传输时间占到了大数据任务完成总时间的50%以上。
为了优化大数据任务的完成时间,现有的工作对Coflow的调度进行了研究,并提出了相关Coflow调度机制,以通过合理的调度Coflow来减小大数据任务的完成时间;Coflow调度机制可以被分为两类:信息感知的调度机制和信息无感知的调度机制。
其中,信息感知的调度机制需要提前知道大数据任务所需传输的总数据量大小;然而,在实际当中,由于某些大数据业务是动态产生数据的,所以总的数据无法提前获取,因此信息无感知的机制被提出,信息无感知的机制通常依靠大数据业务已经传输的数据量来进行调度的决策,当一个任务已经传输的数据量超过规定的门限值时,此任务数据传输的优先级将被降低。假设网络中的Coflow所需发送的总数据量是无法提前获取和感知的,具体地,Coflow可以被分为不同的优先级,并放在不同的优先级队列当中,当多个Coflow争抢相同的带宽资源时,优先传输具有高优先级的Coflow,当高优先级的Coflow传输完成后,再依次传输低优先级队列中的Coflow。初始情况下,每一个Coflow都具有最高的优先级,并被放在最高优先级的队列当中,在传输过程中,当某一个Coflow的已发送数据量超过所在队列的预设门限值时,此Coflow就会被从此队列中移除,并放入到低一个等级的优先级队列当中。
举例而言,假设预设门限值为15M(兆),网络中有3条可用链路,带宽均为1M,当前有两个需要传输的Coflow,其中,Coflow1中只有一个数据流,该数据流的数据为7M,优先级为2;Coflow2中有三个数据流,每一数据流的数据为6M,优先级为1,由于现有的信息无感知的调度机制无法获知Coflow1和Coflow2的总数据量,那么,可能会在Coflow2并行传输三个数据流共15M,即传输至5s时,监测到Coflow2的已发送数据量达到了预设门限值,降低其优先级,提高Coflow1的优先级,开始传输,得到任务完成总时间为:(5+7)+(5+7+1)=25s,平均完成时间为:12.5s;若在数据传输至5s时,不根据预设门限值进行优先级的调节,得到的任务完成总时间为:(6+7)+6=19s,平均完成时间为:9.5s。
可以看出,现有的信息无感知的调度机制仅仅依靠已发送数据量来决定如何调度Coflow,调度的粒度太粗,无法对具有不同数据量的Coflow进行精细化的调节,只能简单地将某些总数据量大的Coflow划分到低优先级,某些总数据量小的Coflow划分到高优先级,从而使得网络中Coflow的整体平均传输时间较高。
发明内容
本发明实施例的目的在于提供一种基于多属性的大数据流量调度方法及装置,以降低网络中大数据流量的整体平均传输时间。具体技术方案如下:
第一方面,本发明实施例提供了一种基于多属性的大数据流量调度方法,所述方法包括:
在数据传输过程中,确定待调度的大数据流量Coflow,所述Coflow设置有优先级;
判断所述Coflow的宽度是否大于第一预设阈值;
当判断结果为是时,监测所述Coflow的长度是否大于第二预设阈值,若大于,降低所述Coflow的优先级;
当判断结果为否时,监测所述Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低所述Coflow的优先级。
可选地,所述监测所述Coflow的长度是否大于第二预设阈值的步骤,包括:
实时监测所述Coflow的长度是否大于第二预设阈值;
或,
周期性地监测所述Coflow的长度是否大于所述第二预设阈值。
可选地,所述监测所述Coflow已发送的总数据量是否大于第三预设阈值的步骤,包括:
实时监测所述Coflow已发送的总数据量是否大于第三预设阈值;
或,
周期性地监测所述Coflow已发送的总数据量是否大于所述第三预设阈值。
可选地,所述Coflow的优先级的初始值是根据所述Coflow的宽度设置的。
可选地,根据所述Coflow的宽度设置所述Coflow的优先级的初始值的方式,包括:
若β(i)<=w<β(i+1),将所述Coflow的优先级的初始值确定为i;其中,w为所述Coflow的宽度,i为自然数,β(i)=10i。
可选地,所述第二预设阈值为:20×k;所述第三预设阈值为:10k,其中,k为所述Coflow的当前优先级。
第二方面,本发明实施例提供了一种基于多属性的大数据流量调度装置,所述装置包括:
确定模块,用于在数据传输过程中,确定待调度的大数据流量Coflow,所述Coflow设置有优先级;
判断模块,用于判断所述Coflow的宽度是否大于第一预设阈值;
第一监测模块,用于在所述判断模块的判断结果为是的情况下,监测所述Coflow的长度是否大于第二预设阈值,若大于,降低所述Coflow的优先级;
第二监测模块,用于在所述判断模块的判断结果为否的情况下,监测所述Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低所述Coflow的优先级。
可选地,所述第一监测模块,具体用于:
实时监测所述Coflow的长度是否大于第二预设阈值,若大于,降低所述Coflow的优先级;
或,
周期性地监测所述Coflow的长度是否大于所述第二预设阈值,若大于,降低所述Coflow的优先级。
可选地,所述第二监测模块,具体用于:
实时监测所述Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低所述Coflow的优先级;
或,
周期性地监测所述Coflow已发送的总数据量是否大于所述第三预设阈值,若大于,降低所述Coflow的优先级。
可选地,所述Coflow的优先级的初始值是根据所述Coflow的宽度设置的。
可选地,所述Coflow的优先级的初始值根据所述Coflow的宽度设置的方式,包括:
若β(i)<=w<β(i+1),将所述Coflow的优先级的初始值确定为i;其中,w为所述Coflow的宽度,i为自然数,β(i)=10i。
可选地,所述第二预设阈值为:20×k;所述第三预设阈值为:10k,其中,k为所述Coflow的当前优先级。
本发明实施例提供的基于多属性的大数据流量调度方法中,可以首先在数据传输过程中,确定待调度的大数据流量Coflow,其中,该Coflow设置有优先级;判断该Coflow的宽度是否大于第一预设阈值;当判断结果为是时,监测该Coflow的长度是否大于第二预设阈值,若大于,降低该Coflow的优先级;当判断结果为否时,监测该Coflow已发送的总数据量是否大于第三预设阈值,若大于,执行降低该Coflow的优先级的步骤。
可以理解的是,针对一个Coflow,若它的宽度大于第一预设阈值,则表明该Coflow中包含的数据流比较多,而这些数据流在一定条件下可以并行传输,因此,当该Coflow的已发送总数据量大于预设门限值时,其总的传输时间不一定长,但当该Coflow的长度,即该Coflow包含的并行流中发送数据量最多的数据流的已发送数据量,大于第二预设阈值时,则可以表明该Coflow的传输时间将较长,因此对其优先级进行降低处理,以传输等待队列中、其他传输时间比较少的Coflow;若该Coflow的宽度不大于第一预设阈值,则表明该Coflow中包含的数据流比较少,因此,当该Coflow的已发送数据量大于第三预设阈值时,可以表明该该Coflow的传输时间将会较长,对其优先级可以进行降低处理,以传输等待队列中、其他传输时间比较少的Coflow。
可以看出,针对网络中的每一Coflow,应用本发明实施例提供的基于多属性的大数据流量调度方法,针对不同类型的Coflow,使用不同属性的门限值来调节优先级,能够实现细粒度、更加精细的流量调度,减少网络中Coflow的平均传输时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于多属性的大数据流量调度方法的一种流程示意图;
图2为本发明实施例提供的基于多属性的大数据流量调度装置的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了减少网络中Coflow的平均传输时间,本发明实施例提供了一种基于多属性的大数据流量调度方法及装置。
下面首先对本发明实施例提供的一种基于多属性的大数据流量调度方法进行介绍。
需要说明的是,一个Coflow由于包含了多条并行数据流,所以具有多个属性,如宽度,长度,已发送总数据量等。其中,Coflow的宽度为该Coflow包含的数据流的个数;Coflow的长度为该Coflow包含的数据流中发送数据量最多的数据流的已发送数据量,可以理解的是,Coflow的长度是动态变化的;Coflow的已发送总数据量,为该Coflow包含的所有数据流的已发送的数据量的总和。
如图1所示,本发明实施例提供的一种基于多属性的大数据流量调度方法,包括如下步骤:
S101,在数据传输过程中,确定待调度的大数据流量Coflow。
其中,该Coflow可以是网络中待调度的任一Coflow,且该Coflow设置有优先级。
需要说明的是,该Coflow的优先级的初始值可以是根据该Coflow的宽度设置的,而网络中任一待调度的Coflow的宽度是可以预先获知的。具体地,根据该Coflow的宽度设置该Coflow的优先级的初始值的方式,可以包括:
若β(i)<=w<β(i+1),将该Coflow的优先级的初始值确定为i;其中,w为该Coflow的宽度,i为自然数,β(i)=10i。
举例而言,若Coflow1为待调度的Coflow,包含了20条数据流,那么,Coflow1的宽度w便为20,由于101<20<102,i=1,因此,Coflow1的优先级的初始值可以确定为1。
可以理解的是,i的值越大,优先级越低。
当然,确定该Coflow的优先级的初始值的方式可以不限于以上方式。
现有技术中,每个Coflow的优先级的初始值都是最高优先级,当两个Coflow同时开始传输时,会根据时间到达顺序进行传输,这样,可能会造成总数据量较小的Coflow被较大的Coflow所阻塞,增加了总数据量较小的Coflow的完成时间,从而使得网络中Coflow的平均传输时间较长;此外,现有技术中仅依靠已发送数据量的大小来确定Coflow的优先级,但在多个Coflow同时开始传输时,无法快速地区分出哪个Coflow可能会发送更多的数据量,导致网络中各Coflow的优先级调整到最优调度方案的时间较长,从而使得网络中Coflow的平均传输时间较长。
需要说明的是,一般情况下,Coflow包含的数据流少的话,其总数据量可能较少,相应地,传输时间也会较短,可以设置较高的优先级,优先进行传输;而Coflow包含的数据流多的话,其总数据量可能较多,相应地,传输时间也会较长,可以设置相对较低的优先级。因此,可以理解的是,根据Coflow的宽度来设置Coflow的优先级的初始值,能够在一定概率上减少总数据量较小的Coflow被阻塞的情况发生,并且可以更快地将网络中各Coflow的优先级调整到最优调度方案。
S102,判断该Coflow的宽度是否大于第一预设阈值,若是,执行S103,否则,执行S104。
针对现有技术中,只根据Coflow的已发送数据量来确定优先级,可能出现某些总数据量较大、但传输时间短的Coflow被划分到低优先级,某些总数据量相对较小,但传输时间长的Coflow被划分到高优先级的情况,从而影响网络中Coflow的平均传输时间,同样地,针对网络中的任一待调度的Coflow,根据Coflow的宽度确定确定的优先级的初始值,也可能会有这种现象发生,因此,为实现调度方案最优,从而降低网络中Coflow的平均传输时间,可以通过判断Coflow的宽度是否大于第一预设阈值,将Coflow划分为不同类型,然后,有针对性地,进一步调节Coflow的优先级。
其中,当该Coflow的宽度大于第一预设阈值时,可以将该Coflow划分为宽的Coflow;当该Coflow的宽度不大于第一预设阈值时,可以将该Coflow划分为窄的Coflow。此外,一般情况下,第一预设阈值,可以为50。
S103,监测该Coflow的长度是否大于第二预设阈值,若大于,降低该Coflow的优先级。
其中,Coflow的长度为Coflow包含的数据流中当前数据量发送最多的数据流的已发送数据量。
可以理解的是,当该Coflow的宽度大于第一预设阈值时,即该Coflow为宽的Coflow时,可以监测该Coflow的长度是否大于第二预设阈值,若该Coflow的长度大于第二预设阈值,则可以表明该Coflow的传输时间将会较长,此时,可以降低该Coflow的优先级,以优先传输等待队列中其他传输时间可能较短的Coflow。
实际应用中,每一优先级都可以对应一个逻辑上的优先级队列,因此,降低该Coflow的优先级,具体地,可以将该Coflow从当前所属优先级队列中移除,并放入到低一个等级的优先级队列中。
其中,第二预设阈值可以为:20×k;其中,k为该Coflow的当前优先级。
具体地,监测该Coflow的长度是否大于第二预设阈值的步骤,可以包括:
实时监测该Coflow的长度是否大于第二预设阈值;
或,
周期性地监测该Coflow的长度是否大于第二预设阈值。
实际应用中,可以根据具体需求,实时或者周期性地监测网络中传输的每一Coflow的长度是否大于第二预设阈值,若大于,便可以降低对应Coflow的优先级。
举例而言,假设Coflow2为宽的Coflow,当前位于优先级为3的队列,设定实时地对Coflow2的长度进行监测,那么,可以理解的是,第二预设阈值为:20×3=60,因此,当监测到Coflow2的长度大于60KB时,便可以将Coflow2从优先级为3的队列中移除,并放入优先级为4的队列中。
需要说明的是,上述所举示例仅为本发明的一具体实例,并不构成对本发明的限定。
S104,监测该Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低该Coflow的优先级。
可以理解的是,当该Coflow的宽度不大于第一预设阈值时,即该Coflow为窄的Coflow时,可以监测该Coflow已发送的总数据量是否大于第三预设阈值,若大于,则可以表明该Coflow的传输时间将会较长,因此,可降低该Coflow的优先级,以优先传输等待队列中其他传输时间可能较短的Coflow。
其中,第三预设阈值可以为:10k,其中,k为该Coflow的当前优先级。
具体地,所述监测该Coflow已发送的总数据量是否大于第三预设阈值的步骤,可以包括:
实时监测该Coflow已发送的总数据量是否大于第三预设阈值;
或,
周期性地监测该Coflow已发送的总数据量是否大于所述第三预设阈值。
实际应用中,可以根据具体需求,实时或者周期性地监测网络中传输的每一Coflow的长度是否大于第二预设阈值,若大于,便可以降低对应Coflow的优先级。
举例而言,假设Coflow3为窄的Coflow3,当前位于优先级为3的队列,设定实时地对Coflow3已发送的总数据量进行监测,那么,可以理解的是,第二预设阈值为:103=1000,因此,当监测到Coflow3已发送的总数据量大于1000KB时,便可以将Coflow3从优先级为3的队列中移除,并放入优先级为4的队列中。
需要说明的是,上述所举示例仅为本发明的一具体实例,并不构成对本发明的限定。
在图1所示发明实施例提供的基于多属性的大数据流量调度方法中,可以首先在数据传输过程中,确定待调度的大数据流量Coflow,其中,该Coflow设置有优先级;判断该Coflow的宽度是否大于第一预设阈值;当判断结果为是时,监测该Coflow的长度是否大于第二预设阈值,若大于,降低该Coflow的优先级;当判断结果为否时,监测该Coflow已发送的总数据量是否大于第三预设阈值,若大于,执行降低该Coflow的优先级的步骤。
可以理解的是,针对网络中传输的每一个Coflow,若它的宽度大于第一预设阈值,则表明该Coflow中包含的数据流比较多,而这些数据流在一定条件下可以并行传输,因此,当该Coflow的已发送总数据量大于预设门限值时,其总的传输时间不一定长,但当该Coflow的长度,即该Coflow包含的并行流中发送数据量最多的数据流的已发送数据量,大于第二预设阈值时,可以表明该Coflow的传输时间将较长,因此对其优先级进行降低处理,以传输等待队列中、其他传输时间比较少的Coflow;而若该Coflow的宽度不大于第一预设阈值,则表明该Coflow中包含的数据流比较少,因此,当该Coflow的已发送数据量大于第三预设阈值时,可以表明该该Coflow的传输时间将会较长,可以对其优先级进行降低处理,以传输等待队列中、其他传输时间比较少的Coflow。
因此,可以看出,针对网络中的每一Coflow,应用图1所示发明实施例提供的基于多属性的大数据流量调度方法,针对不同类型的Coflow,使用不同属性的门限值来调节优先级,能够实现细粒度、更加精细的流量调度,减少网络中Coflow的平均传输时间。
相应于上述方法实施例,本发明实施例提供了一种基于多属性的大数据流量调度装置,所述装置包括:
确定模块201,用于在数据传输过程中,确定待调度的大数据流量Coflow,所述Coflow设置有优先级;
判断模块202,用于判断所述Coflow的宽度是否大于第一预设阈值;
第一监测模块203,用于在所述判断模块202的判断结果为是的情况下,监测所述Coflow的长度是否大于第二预设阈值,若大于,降低所述Coflow的优先级;
第二监测模块204,用于在所述判断模块202的判断结果为否的情况下,监测所述Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低所述Coflow的优先级。
在图2所示发明实施例提供的基于多属性的大数据流量调度方法中,可以首先在数据传输过程中,确定待调度的大数据流量Coflow,其中,该Coflow设置有优先级;判断该Coflow的宽度是否大于第一预设阈值;当判断结果为是时,监测该Coflow的长度是否大于第二预设阈值,若大于,降低该Coflow的优先级;当判断结果为否时,监测该Coflow已发送的总数据量是否大于第三预设阈值,若大于,执行降低该Coflow的优先级的步骤。
可以理解的是,针对网络中传输的每一个Coflow,若它的宽度大于第一预设阈值,则表明该Coflow中包含的数据流比较多,而这些数据流在一定条件下可以并行传输,因此,当该Coflow的已发送总数据量大于预设门限值时,其总的传输时间不一定长,但当该Coflow的长度,即该Coflow包含的并行流中发送数据量最多的数据流的已发送数据量,大于第二预设阈值时,可以表明该Coflow的传输时间将较长,因此对其优先级进行降低处理,以传输等待队列中、其他传输时间比较少的Coflow;而若该Coflow的宽度不大于第一预设阈值,则表明该Coflow中包含的数据流比较少,因此,当该Coflow的已发送数据量大于第三预设阈值时,可以表明该该Coflow的传输时间将会较长,可以对其优先级进行降低处理,以传输等待队列中、其他传输时间比较少的Coflow。
因此,可以看出,针对网络中的每一Coflow,应用图2所示发明实施例提供的基于多属性的大数据流量调度方法,针对不同类型的Coflow,使用不同属性的门限值来调节优先级,能够实现细粒度、更加精细的流量调度,减少网络中Coflow的平均传输时间。
具体地,所述第一监测模块203,具体可以用于:
实时监测所述Coflow的长度是否大于第二预设阈值,若大于,降低所述Coflow的优先级;
或,
周期性地监测所述Coflow的长度是否大于所述第二预设阈值,若大于,降低所述Coflow的优先级。
具体地,所述第二监测模块204,具体可以用于:
实时监测所述Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低所述Coflow的优先级;
或,
周期性地监测所述Coflow已发送的总数据量是否大于所述第三预设阈值,若大于,降低所述Coflow的优先级。
具体地,所述Coflow的优先级的初始值可以是根据所述Coflow的宽度设置的。
具体地,所述Coflow的优先级的初始值根据所述Coflow的宽度设置的方式,可以包括:
若β(i)<=w<β(i+1),将所述Coflow的优先级的初始值确定为i;其中,w为所述Coflow的宽度,i为自然数,β(i)=10i。
具体地,所述第二预设阈值可以为:20×k;所述第三预设阈值可以为:10k,其中,k为所述Coflow的当前优先级。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种基于多属性的大数据流量调度方法,其特征在于,所述方法包括:
在数据传输过程中,确定待调度的大数据流量Coflow,所述Coflow设置有优先级;
判断所述Coflow的宽度是否大于第一预设阈值,所述Coflow的宽度是指所述大数据流量Coflow包含的数据流的个数;
当判断结果为是时,监测所述Coflow的长度是否大于第二预设阈值,若大于,降低所述Coflow的优先级,所述Coflow的长度是指所述大数据流量Coflow包含的数据流中发送数据量最多的数据流的已发送数据量;
当判断结果为否时,监测所述Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低所述Coflow的优先级。
2.根据权利要求1所述的方法,其特征在于,所述监测所述Coflow的长度是否大于第二预设阈值的步骤,包括:
实时监测所述Coflow的长度是否大于第二预设阈值;
或,
周期性地监测所述Coflow的长度是否大于所述第二预设阈值。
3.根据权利要求1所述的方法,其特征在于,所述监测所述Coflow已发送的总数据量是否大于第三预设阈值的步骤,包括:
实时监测所述Coflow已发送的总数据量是否大于第三预设阈值;
或,
周期性地监测所述Coflow已发送的总数据量是否大于所述第三预设阈值。
4.根据权利要求1所述的方法,其特征在于,所述Coflow的优先级的初始值是根据所述Coflow的宽度设置的。
5.根据权利要求4所述的方法,其特征在于,根据所述Coflow的宽度设置所述Coflow的优先级的初始值的方式,包括:
若β(i)<=w<β(i+1),将所述Coflow的优先级的初始值确定为i;其中,w为所述Coflow的宽度,i为自然数,β(i)=10i。
6.根据权利要求1所述的方法,其特征在于,所述第二预设阈值为:20×k;所述第三预设阈值为:10k,其中,k为所述Coflow的当前优先级。
7.一种基于多属性的大数据流量调度装置,其特征在于,所述装置包括:
确定模块,用于在数据传输过程中,确定待调度的大数据流量Coflow,所述Coflow设置有优先级;
判断模块,用于判断所述Coflow的宽度是否大于第一预设阈值,所述Coflow的宽度是指所述大数据流量Coflow包含的数据流的个数;
第一监测模块,用于在所述判断模块的判断结果为是的情况下,监测所述Coflow的长度是否大于第二预设阈值,若大于,降低所述Coflow的优先级,所述Coflow的长度是指所述大数据流量Coflow包含的数据流中发送数据量最多的数据流的已发送数据量;
第二监测模块,用于在所述判断模块的判断结果为否的情况下,监测所述Coflow已发送的总数据量是否大于第三预设阈值,若大于,降低所述Coflow的优先级。
8.根据权利要求7所述的装置,其特征在于,所述Coflow的优先级的初始值是根据所述Coflow的宽度设置的。
9.根据权利要求8所述的装置,其特征在于,所述Coflow的优先级的初始值根据所述Coflow的宽度设置的方式,包括:
若β(i)<=w<β(i+1),将所述Coflow的优先级的初始值确定为i;其中,w为所述Coflow的宽度,i为自然数,β(i)=10i。
10.根据权利要求7所述的装置,其特征在于,所述第二预设阈值为:20×k;所述第三预设阈值为:10k,其中,k为所述Coflow的当前优先级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611178124.4A CN106533981B (zh) | 2016-12-19 | 2016-12-19 | 一种基于多属性的大数据流量调度方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611178124.4A CN106533981B (zh) | 2016-12-19 | 2016-12-19 | 一种基于多属性的大数据流量调度方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106533981A CN106533981A (zh) | 2017-03-22 |
CN106533981B true CN106533981B (zh) | 2019-05-03 |
Family
ID=58341130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611178124.4A Active CN106533981B (zh) | 2016-12-19 | 2016-12-19 | 一种基于多属性的大数据流量调度方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106533981B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108833297A (zh) * | 2018-05-08 | 2018-11-16 | 清华大学 | 大数据流量的优先级分类方法、调度方法和装置 |
CN112448899A (zh) * | 2019-08-31 | 2021-03-05 | 深圳致星科技有限公司 | 一种基于流量调度的多任务训练集群网络优化方法 |
CN110708259B (zh) * | 2019-09-25 | 2023-07-07 | 江苏省未来网络创新研究院 | 自动调整队列阈值的信息无感知Coflow调度系统及其调度方法 |
CN112243253B (zh) * | 2019-10-24 | 2022-07-08 | 北京大学 | 一种通信设备 |
CN111835658B (zh) * | 2020-06-23 | 2022-06-10 | 武汉菲奥达物联科技有限公司 | 一种基于lpwan的数据优先响应方法及装置 |
CN111966513B (zh) * | 2020-08-31 | 2024-08-09 | 国网上海市电力公司 | 无先验知识Coflow的多级队列调度方法、装置及其调度设备 |
CN112468414B (zh) * | 2020-11-06 | 2023-10-24 | 国网电力科学研究院有限公司 | 一种云计算多级调度方法、系统及存储介质 |
CN114490090B (zh) * | 2022-04-02 | 2022-07-01 | 广东茉莉数字科技集团股份有限公司 | 基于多目标进化算法的互联网数据中心需求响应优化方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103631657B (zh) * | 2013-11-19 | 2017-08-25 | 浪潮电子信息产业股份有限公司 | 一种基于MapReduce的任务调度方法 |
CN104636204B (zh) * | 2014-12-04 | 2018-06-01 | 中国联合网络通信集团有限公司 | 一种任务调度方法与装置 |
CN105740249B (zh) * | 2014-12-08 | 2020-05-22 | Tcl科技集团股份有限公司 | 一种大数据作业并行调度过程中的处理方法及其系统 |
-
2016
- 2016-12-19 CN CN201611178124.4A patent/CN106533981B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN106533981A (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106533981B (zh) | 一种基于多属性的大数据流量调度方法及装置 | |
EP3490202B1 (en) | Cloud monitoring-based load balancing optimization method and device | |
EP3471341B1 (en) | Network slice method and system | |
CN105718317B (zh) | 一种任务调度方法及装置 | |
CN104333465B (zh) | 一种心跳间隔设置的方法、装置及系统 | |
CN104601492B (zh) | 一种nfv架构下进行业务流控的方法及装置 | |
EP2426871B1 (en) | Method and device for scheduling data communication input ports | |
CN107135521B (zh) | 一种流量控制方法、装置和系统 | |
CN106817313A (zh) | 一种网络流量快速分配的方法 | |
CN103634223A (zh) | 一种基于网络业务流的动态控制传输方法和装置 | |
CN109257304A (zh) | 一种带宽调整方法、装置、存储介质和网络设备 | |
HK1126052A1 (en) | Aggregated resource reservation for data flows | |
EP3035193A1 (en) | Memory module access method and device | |
US8867353B2 (en) | System and method for achieving lossless packet delivery in packet rate oversubscribed systems | |
CN105471755B (zh) | 网络流量均衡的方法及超级控制器 | |
US8090903B2 (en) | Fair and dynamic disk input/output bandwidth distribution | |
CN102622291A (zh) | 一种进程的监控方法及系统 | |
CN103096386B (zh) | 一种基于信令分析的数据业务流量管控方法 | |
CN101616096A (zh) | 队列调度方法及装置 | |
CN102404133A (zh) | 一种ip网络数据交互的方法和装置 | |
US10536393B2 (en) | Mail obtaining method, terminal, and system | |
CN112948104A (zh) | 负载均衡的数据采集方法及装置 | |
CN106209676A (zh) | 基于多设备的云主机系统的数据处理方法及装置 | |
CN103888366A (zh) | 一种实时企业服务总线系统 | |
CN108540336A (zh) | 一种弹性伸缩调度方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220607 Address after: 310052 Changhe Road, Binjiang District, Hangzhou, Zhejiang Province, No. 466 Patentee after: NEW H3C TECHNOLOGIES Co.,Ltd. Address before: 100876 Beijing city Haidian District Xitucheng Road No. 10 Patentee before: Beijing University of Posts and Telecommunications |
|
TR01 | Transfer of patent right |