CN107835133B - 一种基于多属性决策的流优先级控制方法 - Google Patents
一种基于多属性决策的流优先级控制方法 Download PDFInfo
- Publication number
- CN107835133B CN107835133B CN201711094386.7A CN201711094386A CN107835133B CN 107835133 B CN107835133 B CN 107835133B CN 201711094386 A CN201711094386 A CN 201711094386A CN 107835133 B CN107835133 B CN 107835133B
- Authority
- CN
- China
- Prior art keywords
- flow
- stream
- priority
- hpff
- bandwidth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种基于多属性决策的流优先级控制方法,基于HPFF内核单元,该单元包含钩子模块、流信息表和流分类器,在一个分组从源主机到目的主机路径的往返时延RTT内,HPFF内核单元更新和维护流的属性信息;计算每一条流的优先级,标记流的优先级标签;根据流的需求计算流的期望传输速率;根据流的优先级计算和控制流的传输速率。本发明的优势在于:HPFF通过流的多个属性计算流的优先级,较已有的单属性决策方法,能更好地评估服务流的代价,为流调度提供更为准确的信息;HPFF无需修改网络应用和交换机功能,具有实际可部署性;相比现有方法,HPFF显著降低网络中失效流的数目,提升网络的性能。
Description
技术领域
本发明属于网络通信领域,具体地说是提出一种基于多属性决策的流优先级 评估的速率调整控制方法,用以提高数据中心网络的性能。
背景技术
数据中心产生参量和需求不同的流,按照数据量的大小,可以将网络流分为 长流和短流,短流要求较小的流完成时间;按照需求的不同,可以将长流划分为 带宽敏感流、时延敏感流和弹性流,带宽敏感流要求网络提供最小的传输带宽保 证,时延敏感流要求网络尽可能地减小流完成时间,当流有截止时间限制时,网 络需要保证流的截止时间;弹性流没有明确的性能需求,为了提高用户体验,网 络应尽可能地较小这些流的完成时间。当这些混合流共存在数据中心网络时,如 何准确地调度这些流,使得网络能同时为更多流同时提供所需的服务来最大化网 络性能,是数据中心流量工程重要的优化目标。
数据中心每一条流都可以用多个属性来描述流的特征,但现有的方法在网络 资源分配时,仅考虑了流的部分属性,无法实现最优的流调度和资源分配,因此 会降低网络的性能。例如,基于短流优先策略的方案不能提供流的截止时间保证, 而基于最小剩余完成时间优先策略的方案无法保证带宽时延敏感流的最小带宽 保证。
发明内容
本发明针对数据中心中各种流混合传输的现状,提出了一种基于多属性决策 的流优先级计算方法,该方法能更为准确地计算每流的优先级,并根据流的优先 级和需求计算流的传输带宽,从而使得网络能够同时为更多的流提供所需的服务, 进而最大化网络的性能。
本发明的技术方案是:
一种基于多属性决策的流优先级控制方法,基于HPFF内核单元,该单元包 含Linux Netfilter钩子模块、流信息表和流分类器,该方法包括以下步骤:
步骤一:在一个分组从源主机到目的主机路径的往返时延RTT内,HPFF内核单 元更新和维护流的属性信息;
步骤二:计算每一条流的优先级,标记流的优先级标签;
步骤三:根据流的需求计算流的期望传输速率;
步骤四:根据流的优先级计算和控制流的传输速率。
进一步地,步骤一中流的属性信息包括参数信息和需求信息,参数信息包括 剩余数据量和当前发送速率,需求信息包括所需带宽和截止时间。
进一步地,所述的HPFF内核单元即高优先权优先内核单元包括Linux Netfilter钩子模块、流信息表和流分类器,所述Linux Netfilter钩子模块的输入端 连接流分类器,输出端连接流信息表,流信息表的输出端连接流分类器的输入端; 所述的流信息表用于维护流信息实时信息,所述的流分类器用于计算流的优先级。
进一步地,所述的步骤二具体为:
步骤201:通过HPFF内核单元构造流的评价矩阵A,A=(aij)n×m;其中,i=1,2,…n,j=1,2,…m,n表示流的数目,m表示流的属性信息;i、j分别表示流的数目和 流的属性信息的编号;
步骤202:采用下述公式将评价矩阵A转化为规范矩阵R=(rij)n×m;
步骤203:计算每个属性信息j的熵Ej,其中,k=1/ln n;
步骤204:计算每个属性的比重值Wj;
步骤205:根据规范矩阵R和比重值Wj计算每一条单流的优先级,获取优先级系 数Pr(fi);
步骤206:根据数据中心交换机支持的优先级队列数目K,采用下述公式对流的 优先级进行聚合,标记流的优先级标签q,前述K由数据中心交换机的设备参数 得到;
q=|Pr(fi)×K|。
进一步地,所述的步骤202中,初始计算时,流的属性信息不可知情况下, 获取每条流属性测量值的算术平均值作为该流的属性值。
进一步地,所述的步骤202中,流的属性信息不可知时,对于弹性流,将该 流所需带宽设置为服务器网卡速率,将流的截止时间设置为1000s。
进一步地,所述的步骤三具体为:采用下述公式计算带宽敏感流f的期望传 输速率rf(t)和时延敏感流g的期望传输速率为rg(t):
rf(t)=rf(t+τ(t))=dbf;
rg(t)=RSg(t)/δg(t);
其中:τ(t)为t时刻的调整周期,δg(t)为流的剩余完成时间,RSg(t)为流的 剩余数据量。
进一步地,所述的步骤四具体为:
步骤401:根据流的优先级对未完成的流排序,然后按照下述步骤计算传输速率:
当带宽敏感流rf(t+τ(t))≤B时,HPFF内核单元分配其所需的传输带宽 rf(t+τ(t))=dbf,其中,rf(t)为流的当前发送速率,B为主机的剩余带宽;否 则,终止该流的传输;
步骤402:通过HPFF内核单元基于Linux流量管控工具中分层的令牌桶队列技 术控制流的速率。
进一步地,所述的步骤402中,HTB允许通过带宽借用的方式充分利用主机 的可用带宽。
进一步地,所述的步骤401中,对流进行进一步评估具体为:当时延敏感流 满足:δg(t)≥2RTT且RSg(t)/Bmax≤δg(t)时,将流的发送速率设置为主机的剩余 带宽B;否则,终止该流的传输;其中,Bmax为端主机为该流分配的最大带宽。
本发明相对于现有技术具有以下优点:
本发明的优势在于:1、HPFF通过流的多个属性计算流的优先级,较已有的 单属性决策方法,能更好地评估服务流的代价,为流调度提供更为准确的信息; 2、HPFF无需修改网络应用和交换机功能,具有实际可部署性;3、相比现有方 法,HPFF显著降低网络中失效流的数目,提升网络的性能。
附图说明
图1是HPFF控制方法流程图。
图2是HPFF系统结构图。
图3是web search和datamining流量分布。
图4是web search流量模型下HPFF的性能。
图5是datamining流量模型下HPFF的性能。
具体实施方式
下边结合附图和具体实施方式对本发明作进一步地说明。
一种基于多属性决策的流优先级控制方法,基于HPFF内核单元,该单元包 含Linux Netfilter钩子模块、流信息表和流分类器,该方法包括以下步骤:
步骤一:在一个分组从源主机到目的主机路径的往返时延RTT内,HPFF内 核单元更新和维护流的属性信息,参数信息和需求信息,参数信息包括剩余数据 量和当前发送速率,需求信息包括所需带宽和截止时间。
步骤二:计算每一条流的优先级,标记流的优先级标签;
步骤201:通过HPFF内核单元构造流的评价矩阵A,A=(aij)n×m;其中,i=1,2,…n,j=1,2,…m,n表示流的数目,m表示流的属性信息;i、j分别表示流的数目和 流的属性信息的编号;
步骤202:采用下述公式将评价矩阵A转化为规范矩阵R=(rij)n×m;
步骤203:计算每个属性信息j的熵Ej,其中,k=1/ln n;
步骤204:计算每个属性的比重值Wj;
步骤205:根据规范矩阵R和比重值Wj计算每一条单流的优先级,获取优先级系 数Pr(fi);
步骤206:根据数据中心交换机支持的优先级队列数目K,采用下述公式对流的 优先级进行聚合,标记流的优先级标签q,前述K由数据中心交换机的设备参数 得到;
q=|Pr(fi)×K|。
步骤三:根据流的需求计算带宽敏感流f的期望传输速率rf(t)和时延敏感流g的期望传输速率为rg(t):
rf(t)=rf(t+τ(t))=dbf;
rg(t)=RSg(t)/δg(t);
其中:τ(t)为t时刻的调整周期,δg(t)为流的剩余完成时间,RSg(t)为流的 剩余数据量。
步骤四:根据流的优先级计算和控制流的传输速率。
步骤401:根据流的优先级对未完成的流排序,然后按照下述步骤计算传输速率:
当带宽敏感流rf(t+τ(t))≤B时,HPFF内核单元分配其所需的传输带宽 rf(t+τ(t))=dbf,其中,rf(t)为流的当前发送速率,B为主机的剩余带宽;否 则,终止该流的传输;
当时延敏感流满足:δg(t)≥2RTT且RSg(t)/Bmax≤δg(t)时,将流的发送速率 设置为主机的剩余带宽B;否则,终止该流的传输;其中,Bmax为端主机为该 流分配的最大带宽。
步骤402:通过HPFF内核单元基于Linux流量管控工具中分层的令牌桶队列技 术控制流的速率。
具体实施时:
本实例设计实现了一个原型系统,并在图2所示的试验环境中进行了测试。 图2所示的试验环境采用了典型的单交换机网络拓扑结构。在该试验床网络结构 中,包含一台OpenvSwitch软件交换机,以及6台安装Linux Ubuntu12.04 LTS 系统的Lenovo T4900v台式机。其中5台主机充当端主机,用H1~H5标识,一 台安装POX控制器程序的主机充当控制器,用controller标识。在该试验床网络 中,所有的链路带宽均为1000Mbps。控制器与交换机之间遵从OpenFlow1.0.0 标准。
试验中使用iperf流量发生器产生符合websearch和datamining两种流量分布 的流,流到达间隔服务泊松分布。两种流量分布如图3所示。
1)对比的不同机制
为了与HPFF进行对比,还在类似环境下进行了TCPCUBIC、DCTCP和 pFabric方案的试验。在IP和WFQ机制下,将OpenFlow交换机更换为二层交换 机,同时去除flow adjustor主机。具体设置如下:
TCP:使用标准的TCP CUBIC作为测试基准,TCP的初始拥塞窗口设置12 个报文大小。Open vSwitch软件交换机端口缓存设置为150个报文端口使用先来 先服务的调度机制。
DCTCP:Linux 3.18.11的内核版本已经集成了DCTCP拥塞控制算法,发送 窗口设置为12个报文大小。在Open vSwitch交换机端口中,使用Linux TC工具 为每个端口配置ECN功能,其中队列阈值设置为20个报文长度,交换机端口缓 存设置为225KB。
pFabric:pFabric是一种流调度方案,由于IP报文DSCP字段最多可区分64 种优先级,因此每个Open vSwitch交换机端口配置64个优先级队列,交换机端 口缓存设置为36KB,端主机拥塞控制算法按照pFabric的要求进行了配置。
HPFF:端主机使用CUBIC拥塞控制算法,交换机端口缓存设置为225KB, 同时在Open vSwitch交换机每个端口配置了4个优先级队列。
服务失效流比例.websearch和datamining流量下不同方案的服务失效流比例 如图4和5所示。从图4和5可以看出,HPFF较其他方案能有效降低网络中失 效流的比例,且随着网络负载的增大,性能提升越为明显,这说明基于多属性决 策的HPFF能更为准确的计算流的优先级。具体来说,在websearch流量,HPFF 较其他方案能减少26.3%~83.3%的服务失效流,而在datamining流量,HPFF减 少了37.4%~75.6%服务失效流。TCP既不能区分不同需求的流,也不能实施流 需求感知的速率控制,TCP方案下存在21%的流出现服务失效。DCTCP能有效 减小流的排队时延,因此能保证更多短流的服务需求,但是无法保证带宽敏感流 的最低传输带宽保证,因此较HPFF网络中存在更多的流出现服务失效。虽然pFabric实现严格优先级的流调度,但pFabric采用的基于流数据量的优先级评估 方法并不能准确评估流的需求,因此不能同时保证更多流的服务需求,从图4和 5可以看出,pFabric较HPFF存在明显的性能差距。HPFF根据流的多个属性值 计算流的优先级,能准确评估流的服务代价,通过实施基于流优先级和需求感知 的速率控制,HPFF能同时满足更多流的服务需求,因此能优化网络的性能。
综上可知:
i)基于多属性决策的流优先级计算方法较基于单属性流优先级计算方法能 更准确的评价流的需求。对于网络而言,基于多属性决策能更有效评估网络服务 流的代价,这为网络资源最优化分配提供了更准确的知识;
ii)为了优化网络的性能,应实施基于流需求的速率控制;
iii)由于试验环境类似于实用环境,因此HPFF机制具有实用性。
Claims (6)
1.一种基于多属性决策的流优先级控制方法,基于HPFF内核单元,该单元包含LinuxNetfilter钩子模块、流信息表和流分类器,其特征在于该方法包括以下步骤:
步骤一:在一个分组从源主机到目的主机路径的往返时延RTT内,HPFF内核单元更新和维护流的属性信息;
步骤二:计算每一条流的优先级,标记流的优先级标签;
步骤三:根据流的需求计算流的期望传输速率;
步骤四:根据流的优先级计算和控制流的传输速率;
所述的步骤二具体为:
步骤201:通过HPFF内核单元构造流的评价矩阵A,A=(aij)n×m;其中,i=1,2,…n,j=1,2,…m,n表示流的总数,m表示流的属性信息总数;i、j分别表示流的数目的编号、流的属性信息的编号;
步骤202:采用下述公式将评价矩阵A转化为规范矩阵R=(rij)n×m;
步骤203:计算每个属性信息j的熵Ej,其中,k=1/ln n;
步骤204:计算每个属性的比重值Wj;
步骤205:根据规范矩阵R和比重值Wj计算每一条单流的优先级,获取优先级系数Pr(fi);
步骤206:根据数据中心交换机支持的优先级队列数目K,采用下述公式对流的优先级进行聚合,标记流的优先级标签q,前述K由数据中心交换机的设备参数得到;
q=|Pr(fi)×K|;
所述的步骤202中,流的属性信息不可知时,对于弹性流,将该流所需带宽设置为服务器网卡速率,将流的截止时间设置为1000s;
所述的步骤四具体为:
步骤401:根据流的优先级对未完成的流排序,然后按照下述步骤计算传输速率:
当带宽敏感流的rf(t+τ(t))≤B时,HPFF内核单元分配其所需的传输带宽dbf,rf(t+τ(t))=dbf,其中,B为主机的剩余带宽;否则,终止该流的传输;
步骤402:通过HPFF内核单元基于Linux流量管控工具中分层的令牌桶队列技术控制流的速率;
所述的步骤401中,对流进行进一步评估具体为:当时延敏感流满足:δg(t)≥2RTT且RSg(t)/Bmax≤δg(t)时,将流的发送速率设置为主机的剩余带宽B;否则,终止该流的传输;其中,Bmax为端主机为该流分配的最大带宽;τ(t)为t时刻的调整周期,δg(t)为流的剩余完成时间,RSg(t)为流的剩余数据量。
2.根据权利要求1所述的一种基于多属性决策的流优先级控制方法,其特征在于,步骤一中所述流的属性信息包括参数信息和需求信息,参数信息包括剩余数据量和当前发送速率,需求信息包括所需带宽和截止时间。
3.根据权利要求1所述的一种基于多属性决策的流优先级控制方法,其特征在于,所述的HPFF内核单元即高优先权优先内核单元包括Linux Netfilter钩子模块、流信息表和流分类器,所述Linux Netfilter钩子模块的输入端连接流分类器,输出端连接流信息表,流信息表的输出端连接流分类器的输入端;所述的流信息表用于维护流信息实时信息,所述的流分类器用于计算流的优先级。
4.根据权利要求1所述的一种基于多属性决策的流优先级控制方法,其特征在于,所述的步骤202中,初始计算时,流的属性信息不可知情况下,获取每条流属性测量值的算术平均值作为该流的属性值。
5.根据权利要求1所述的一种基于多属性决策的流优先级控制方法,其特征在于,所述的步骤三具体为:采用下述公式计算带宽敏感流f的期望传输速率rf(t)和时延敏感流g的期望传输速率为rg(t):
rf(t)=rf(t+τ(t))=dbf;
rg(t)=RSg(t)/δg(t);
其中:τ(t)为t时刻的调整周期,δg(t)为流的剩余完成时间,RSg(t)为流的剩余数据量。
6.根据权利要求1所述的一种基于多属性决策的流优先级控制方法,其特征在于,所述的步骤402中,HTB允许通过带宽借用的方式充分利用主机的可用带宽。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710455908 | 2017-06-16 | ||
CN2017104559085 | 2017-06-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107835133A CN107835133A (zh) | 2018-03-23 |
CN107835133B true CN107835133B (zh) | 2021-10-22 |
Family
ID=61653968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711094386.7A Active CN107835133B (zh) | 2017-06-16 | 2017-11-09 | 一种基于多属性决策的流优先级控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107835133B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109089281B (zh) * | 2018-06-27 | 2022-02-18 | 海能达通信股份有限公司 | 一种集群通信方法、终端设备及存储介质 |
CN108683609B (zh) * | 2018-08-31 | 2022-01-18 | 创新先进技术有限公司 | 一种竞争性流量管控方法和装置 |
CN112929295B (zh) * | 2021-01-22 | 2022-07-12 | 宁波大学 | 一种微突发抑制的动态标记阈值缓存管理方法 |
CN114422447A (zh) * | 2021-12-25 | 2022-04-29 | 中国海洋大学 | 多业务多网络融合通信调度方法及系统、介质、终端、应用 |
CN116665888A (zh) * | 2023-07-26 | 2023-08-29 | 大安健康科技(北京)有限公司 | 一种中医证候细粒度量化评价方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105827545A (zh) * | 2016-04-21 | 2016-08-03 | 中国科学院信息工程研究所 | 数据中心网络中tcp共流的调度方法和装置 |
CN106302227A (zh) * | 2016-08-05 | 2017-01-04 | 广州市香港科大霍英东研究院 | 混合网络流调度方法和交换机 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7953880B2 (en) * | 2006-11-16 | 2011-05-31 | Sharp Laboratories Of America, Inc. | Content-aware adaptive packet transmission |
-
2017
- 2017-11-09 CN CN201711094386.7A patent/CN107835133B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105827545A (zh) * | 2016-04-21 | 2016-08-03 | 中国科学院信息工程研究所 | 数据中心网络中tcp共流的调度方法和装置 |
CN106302227A (zh) * | 2016-08-05 | 2017-01-04 | 广州市香港科大霍英东研究院 | 混合网络流调度方法和交换机 |
Non-Patent Citations (1)
Title |
---|
《Entropy-based procedures for intuitionistic fuzzy multiple attribute decision making》;Xu Zeshui等;《Journal of Systems Engineering and Electronics》;20091015;正文第1004-1005页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107835133A (zh) | 2018-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107835133B (zh) | 一种基于多属性决策的流优先级控制方法 | |
US10772081B2 (en) | Airtime-based packet scheduling for wireless networks | |
Semeria | Supporting differentiated service classes: queue scheduling disciplines | |
CN108259383B (zh) | 一种数据的传输方法和网络设备 | |
US10680964B1 (en) | Rate limiting in a multi-chassis environment by exchanging information between peer network elements | |
JP4619584B2 (ja) | パケット交換網のルータにおいてパケットをスケジュール設定するための方法 | |
EP3410641A1 (en) | Network-traffic control method and network device thereof | |
EP1526686B1 (en) | Switching unit with scalable and QoS aware flow control | |
JP3623420B2 (ja) | トラヒック制御方法 | |
CN113783785A (zh) | Ecn水线值的配置方法、装置及网络设备 | |
CN112005528B (zh) | 一种数据交换方法、数据交换节点及数据中心网络 | |
KR20120055947A (ko) | 가입자 인지 플로우별 QoS 제공 방법 및 장치 | |
Li et al. | RPQ: Resilient-Priority Queue Scheduling for Delay-Sensitive Applications | |
JP2016122960A (ja) | 管理システム、ネットワーク管理方法、ネットワークシステム | |
Vila-Carbó et al. | Analysis of switched Ethernet for real-time transmission | |
WO2012097599A1 (zh) | 一种管理虚拟输出队列授权盈余的方法及装置 | |
US20230254264A1 (en) | Software-defined guaranteed-latency networking | |
US10742710B2 (en) | Hierarchal maximum information rate enforcement | |
KR20030052840A (ko) | 차등형 서비스 네트워크에 적용되는 라우터의 측정된로드-기반 패킷 스케줄링방법 | |
Lai et al. | High-performance scheduler to achieveproportional delay differentiation | |
Wang et al. | A study of providing statistical QoS in a differentiated services network | |
Wei et al. | A performance simulation and verification method of packet scheduling algorithms for data stream based on QoS | |
Abuamsha et al. | Comparison of fair queuing algorithms with a stochastic approach | |
KR100757194B1 (ko) | 자원 이용도가 높고 구현 복잡성이 낮은 공정 패킷스케줄링 장치 | |
Siler et al. | Measurement-based admission control and monitoring for statistical rate-latency guarantees |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |