CN114070795A - 拥塞门限确定方法、装置、设备及存储介质 - Google Patents

拥塞门限确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114070795A
CN114070795A CN202111407035.3A CN202111407035A CN114070795A CN 114070795 A CN114070795 A CN 114070795A CN 202111407035 A CN202111407035 A CN 202111407035A CN 114070795 A CN114070795 A CN 114070795A
Authority
CN
China
Prior art keywords
target
candidate
congestion
queue
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111407035.3A
Other languages
English (en)
Inventor
王明辉
谢江轩
敖襄桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202111407035.3A priority Critical patent/CN114070795A/zh
Publication of CN114070795A publication Critical patent/CN114070795A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请是关于一种拥塞门限确定方法、装置、设备及存储介质,具体涉及网络通信技术领域。所述方法包括:获取目标交换机的各组候选拥塞门限;获取目标交换机在目标场景参数下,设置各组候选拥塞门限分别得到的目标队列的各个队列带宽;基于所述各个队列带宽之间的大小关系,确定所述目标交换机在目标场景参数下的拥塞门限。通过上述方案,计算机设备通过对目标交换机在目标传输环境下不同候选拥塞门限得到的队列带宽进行分析对比,确定出目标交换机在目标场景参数下的最优拥塞门限,从而使得选取出的拥塞门限考虑了当前交换机所处的场景,提高了网络拥塞控制效果,从而提高了交换机的网络吞吐率。

Description

拥塞门限确定方法、装置、设备及存储介质
技术领域
本发明涉及网络通信技术领域,具体涉及一种拥塞门限确定方法、装置、设备及存储介质。
背景技术
RDMA(Remote Direct Memory Access,远程直接内存访问)是一种能够解决网络传输中服务器端数据处理延时的技术。RDMA技术主要包括RoCE(RDMA over ConvergedEthernet)技术,它使得基于以太网的数据传输能够提高数据传输吞吐量、减少网络延时、降低CPU负载。
在RoCE网络中,我们需要构建无损以太网用于保证网络传输过程中不丢包。构建无损以太网需支持的关键特性包括PFC、ECN、DCBX和ETS等。其中ECN(显式拥塞通告)技术,设备发生拥塞时,通过对报文IP头中ECN域的标识,由接收端向发送端发出降低发送速率的CNP(Congestion Notification Packets,拥塞通知包)报文,实现端到端的拥塞管理,减缓拥塞扩散恶化。现有的交换机均支持对遇到队列拥塞的报文打上ECN标记,以通知源端对流进行降速,缓解交换机的拥塞状况。
但上述方案中,真实的网络流量是不断变化的,静态设置ECN门限的场景适应能力差,可能导致交换机的网络吞吐能力被不必要地限制。
发明内容
本申请提供了一种拥塞门限确定方法、装置、设备及存储介质,提高了交换机的网络吞吐率,该技术方案如下。
一方面,提供了一种拥塞门限确定方法,所述方法包括:
获取目标交换机的各组候选拥塞门限;
获取所述目标交换机在目标场景参数下,设置所述各组候选拥塞门限分别得到的目标队列的各个队列带宽;所述目标场景参数包括设备类型、出接口速率、多对一状态Incast以及队列带宽范围标识中的至少一者;
基于所述各个队列带宽之间的大小关系,确定所述目标交换机在目标场景参数下的拥塞门限。
又一方面,提供了一种拥塞门限确定装置,所述装置包括:
候选门限获取模块,用于获取目标交换机的各组候选拥塞门限;
带宽确定模块,用于获取所述目标交换机在目标场景参数下,设置所述各组候选拥塞门限分别得到的目标队列的各个队列带宽;所述目标场景参数包括设备类型、出接口速率、多对一状态Incast以及队列带宽范围标识中的至少一者;
拥塞门限确定模块,用于基于所述各个队列带宽之间的大小关系,确定所述目标交换机在目标场景参数下的拥塞门限。
在一种可能的实现方式中,所述装置还包括:
第一比值检测模块,用于检测在指定时间内目标队列的平均带宽,与物理带宽的第一比值;
队列带宽标识获取模块,用于根据所述第一比值查询带宽标识映射表,获得所述队列带宽范围标识;所述带宽标识映射表用于指示所述各个队列带宽范围标识与比值区间之间的对应关系。
在一种可能的实现方式中,所述拥塞门限包括低门限值、高门限值以及概率门限值;
所述候选门限获取模块,还包括:
低门限获取单元,用于按照第一步长,遍历低门限值的选取区间,获得各个候选低门限值;
高门限获取单元,用于按照第二步长,遍历高门限值的选取区间,获得各个候选高门限值;
概率门限获取单元,用于按照第三步长,遍历概率门限值的选取区间,获得各个候选概率门限值;
候选门限获取单元,用于将各个候选低门限值、各个候选高门限值以及各个候选概率门限值一一组合,获得所述目标交换机的各组所述候选拥塞门限;所述候选拥塞门限中,候选高门限值大于候选低门限值。
在一种可能的实现方式中,所述拥塞门限确定模块,还包括:
权重矩阵构建单元,用于将设置各组所述候选拥塞阈值时得到的所述各个队列带宽进行两两比较,并根据比较结果构建权重强度矩阵;所述权重强度矩阵中的目标权重元素的行列序号分别表征进行比较的候选拥塞门限的组号;所述目标权重元素用于指示形成目标比较结果的次数;
优劣表生成单元,用于根据权重强度矩阵中的各个权重元素,获取各组候选拥塞门限之间的优劣关系,以生成门限优劣表,并将门限优劣表中最优的候选拥塞门限确定为目标交换机在目标场景参数下的拥塞门限。
在一种可能的实现方式中,所述权重矩阵构建单元,还用于,
当设置第N候选拥塞门限时得到的第N队列带宽,大于设置第M候选拥塞门限时得到的第M队列带宽时,将所述权重强度矩阵中的第N行第M列的元素加1,得到更新后的权重强度矩阵。
在一种可能的实现方式中,所述优劣表生成单元,还用于,
当所述权重强度矩阵中的第M行N列的权重元素,大于所述权重强度矩阵中第N行第M列的权重元素时,确定第M组候选拥塞门限优于第N组候选拥塞门限。
在一种可能的实现方式中,所述装置还包括:
门限上限获取模块,用于当所述目标交换机设置为所述目标场景参数时,根据目标交换机传输的目标业务的优先级,生成拥塞门限上限;
最优门限获取模块,用于在所述门限优劣表中,选取满足所述拥塞门限上限的最优的候选拥塞门限,以控制所述目标交换机的数据传输。
再一方面,提供了一种计算机设备,所述计算机设备中包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述拥塞门限确定方法。
又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述的拥塞门限确定方法。
再一方面,提供了一种计算机程序产品还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的拥塞门限确定方法。
本申请提供的技术方案可以包括以下有益效果:
将设置了目标场景参数的目标交换机,分别设置不同的候选拥塞门限后进行测试,获得各个不同候选拥塞门限所对应的目标队列的队列带宽,此时比较各个目标队列的队列带宽之间的大小关系,即可以确定出适合在目标场景参数下设置的拥塞门限。通过上述方案,计算机设备通过对目标交换机在目标传输环境下的不同候选拥塞门限得到的队列带宽进行分析对比,确定出目标交换机在目标场景参数所指示的传输环境下的最优拥塞门限,从而使得选取出的拥塞门限考虑了当前交换机所处的场景,提高了网络拥塞控制效果,从而提高了交换机的网络吞吐率。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种拥塞门限确定系统的结构示意图。
图2示出了本申请实施例涉及的一种拥塞标记示意图。
图3是根据一示例性实施例示出的拥塞门限确定方法的方法流程图。
图4示出了本申请实施例涉及的一种拥塞门限配置示意图。
图5是根据一示例性实施例示出的拥塞门限确定方法的方法流程图。
图6示出了本申请实施例涉及的一种权重强度矩阵示意图。
图7是根据本申请实施例涉及的一种拥塞门限确定方法的流程示意图。
图8是根据一示例性实施例示出的一种拥塞门限确定装置的结构方框图。
图9是根据本申请一示例性实施例提供的一种计算机设备示意图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,在本申请的实施例中提到的“指示”可以是直接指示,也可以是间接指示,还可以是表示具有关联关系。举例说明,A指示B,可以表示A直接指示B,例如B可以通过A获取;也可以表示A间接指示B,例如A指示C,B可以通过C获取;还可以表示A和B之间具有关联关系。
在本申请实施例的描述中,术语“对应”可表示两者之间具有直接对应或间接对应的关系,也可以表示两者之间具有关联关系,也可以是指示与被指示、配置与被配置等关系。
本申请实施例中,“预定义”可以通过在设备(例如,包括终端设备和网络设备)中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现,本申请对于其具体的实现方式不做限定。
在对本申请所示的各个实施例进行说明之前,首先对本申请涉及到的几个概念进行介绍。
1)RDMA(Remote Direct Memory Access,远程直接内存访问)
RDMA是一种能够解决网络传输中服务器端数据处理延时的技术。RDMA通过将数据从一个系统快速移动到远程系统存储器中,而不对操作系统造成任何影响,RDMA消除了外部存储器复制和文本交换操作,因而解放了内存带宽和CPU的处理。RDMA技术主要包括:IB(InfiniBand),iWARP(Internet Wide Area RDMA Protocal)和RoCE(RDMA overConverged Ethernet)。RoCE技术,它使得基于以太网的数据传输能够提高数据传输吞吐量,减少网络延时以及降低CPU负载。
2)ECN(显式拥塞通告)
ECN是构建无损以太网的必选手段之一。ECN定义了一种基于IP层及传输层的流量控制及端到端拥塞通知机制。在RoCE网络中,我们需要构建无损以太网用于保证网络传输过程中不丢包。构建无损以太网需支持的关键特性包括PFC、ECN、DCBX和ETS等。其中ECN技术,设备发生拥塞时,通过对报文IP头中ECN域的标识,由接收端向发送端发出降低发送速率的CNP报文,实现端到端的拥塞管理,减缓拥塞扩散恶化。网卡针对RoCEv2实现了DCQCN拥塞控制机制,该机制仅要求网络交换机对遇到拥塞的报文进行ECN标记,由互相通信的两端网卡根据ECN标记情况来调整流速。现有的交换机均支持对遇到队列拥塞的报文打上ECN标记,以通知源端对流进行降速,缓解交换机的拥塞状况。交换机是根据配置的ECN门限来对报文进行ECN标记。
图1是根据一示例性实施例示出的一种拥塞门限确定系统的结构示意图。该拥塞门限确定系统中包含网络系统以及控制器110,该网络系统中包含各个交换机120。
如图1所示的网络系统中,各个交换机120构建RoCE网络,并且各个交换机120中具有配置好的ECN门限(即拥塞门限)。当交换机120接收到报文时,会根据报文转发的队列的队列长度高于低门限值时,则该报文会根据队列的长度所对应的概率值打上ECN标记,再将报文进行转发。
当接收端接收到ECN标记的报文时,则会向发送端发送CNP报文,以减小发送端的报文发送速率,从而缓解交换机的队列拥塞问题。
请参考图2,其示出了本申请实施例涉及的一种拥塞标记示意图。如图2所示,ECN是商用数据中心交换机的普遍特点,在图2所示的报文结构中,除了版本(Version)、首部长度(IHL,Internet Header Length)、差分服务代码点(DSCP,Differential ServicesCodeponit)以及总长度(Total Length),还存在两个比特位的数据用于指示拥塞,一旦交换机出现了拥塞,这两个比特位就会被置位为“11”(CE)。
带有ECN标记的数据包被传播到接收方的网卡上。接收方网卡创建一个CNP并把它发送给ECN所标记的数据包的发送方。CNP数据包包括被标记的QP的信息。当CNP被发送方网卡收到时,它会基于下面描述的算法来降低指定QP的传输速率。如果QP基于内部定时器和发送字节计数器,算法会持续的增加发送速率,一旦收到CNP包,就会对指定QP进行降速。除此之外,它还维持一个叫做α的参数,它反映了网络中的拥塞度,用于降速计算。
在本申请实施例中,该拥塞门限确定系统可以是用于仿真,从而确定出不同网络环境下合适的ECN门限值的系统。该拥塞门限确定系统的控制器中,存储有多组ECN门限值,并将该ECN门限值发送至该交换机120中的至少一者,以便该交换机根据该ECN门限进行数据传输。
此时控制器120再接收交换机在不同ECN门限下的数据传输状态,并将数据传输状态进行比较,从而确定出该网络环境下的最适合的ECN门限值。
可选的,该控制器120可以是终端或服务器,交换机120将在不同ECN门限下的数据传输状态通过无线网络或有限网络传输给控制器120,以在控制器120中进行数据处理以及数据分析,获得该网络环境下最适合的ECN门限值。
可选的,上述服务器可以是独立的物理服务器,也可以是由多个物理服务器构成的服务器集群或者是分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。
可选的,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网,但也可以是其他任何网络,包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图3是根据一示例性实施例示出的拥塞门限确定方法的方法流程图。该方法由计算机设备执行,该计算机设备可以是如图1所示的拥塞门限确定方法系统中的控制器。如图3所示,该拥塞门限确定方法可以包括如下步骤:
步骤301,获取目标交换机的各组候选拥塞门限。
该拥塞门限包括低门限值、高门限值以及概率门限值;
图4示出了本申请实施例涉及的一种拥塞门限配置示意图。
如图4所示,标记拥塞是队列长度的概率函数,如下图所示。队列长度的两个门限值定义了标记概率。当队列长度低于低门限值时,ECN位不会被标记。当队列长度超过高门限值时,所有从该队列传输的网络包都会被进行ECN标记,也就是说,当队列长度逼近高门限值时,标记概率逼近于概率门限值,而当队列长度高于高门限值时,此时标记概率会从概率门限值阶跃至1。当队列长度处于两个门限值之间时,数据包会以与队列长度线性增长的概率被进行ECN标记。
并且如图4所示,该数据包的标记概率(Markingprobability)的增长速率(即图4中所示线段的斜率)同时与低门限值Kmin、高门限值Kmax以及概率门限值Pmax有关,因此拥塞门限中的低门限值、高门限值以及概率门限值中的任意一者不同时,该拥塞门限在控制交换机进行数据转发时的效果都不相同。
步骤302,获取目标交换机在目标场景参数下,设置各组候选拥塞门限分别得到的目标队列的各个队列带宽。
该目标场景参数包括设备类型、出接口速率、多对一状态Incast以及队列带宽范围标识中的至少一者。
该目标场景参数用于指示目标交换机通过目标端口传输数据的性能。由于真实的网络流量是不断变化的,因此当需要确定拥塞门限时,需要先确定当前状态下的网络环境,如通过目标场景参数对网络环境进行分类,再确定在当前目标场景参数所对应的网络环境下适用的拥塞门限。
可选的,该目标场景参数包括设备类型、出接口速率、多对一状态Incast以及队列带范围宽标识中的至少一者。
设备类型即为交换机的设备类型(比如S6850,S9850,S9820属于XGS类,S125R属于June类);出接口速率则为该目标交换机用于转发目标队列的报文所使用的端口能达到的最高速率(如20G/100G),多对一状态Incast,即在该交换机中是否存在多个Input端口对应一个output端口的状态;队列带宽范围标识则用于指示目标队列占目标端口的带宽的比值。
例如,当队列带宽范围标识为A时,则此时目标队列与目标端口的带宽比值为(0,65%),当队列带宽范围标识为B时,则此时目标队列与目标端口的带宽比值为(65%,75%)。
由于队列带宽是一个连续的取值,通过用队列带宽范围标识代指某个区间内的队列带宽,可以有效的将连续的队列带宽离散化,从而分类成有限个数的情况,使得最后得到的拥塞门限可以覆盖所有的场景。
当确定了目标交换机所处的目标场景参数以及候选拥塞门限后,此时目标交换机可以进行数据传输测试,目标交换机可以存储在该测试过程中目标队列的各个队列带宽。
当设置各组候选拥塞门限时,都可以通过目标交换机进行数据传输测试,从而获得设置各组候选拥塞门限值时,目标交换机中目标队列的队列带宽,并保存至目标交换机中。
该目标交换机可以将该设置各组候选拥塞门限值时,目标队列的队列带宽发送至计算机设备中,以便计算机设备对目标交换机设置各组候选拥塞门限值时的数据传输状态进行分析。
步骤303,基于该各个队列带宽之间的大小关系,确定该目标交换机在目标场景参数下的拥塞门限。
当获取到目标队列的队列带宽时,可以将在设置不同候选拥塞门限值时得到的队列带宽进行比较,当队列带宽越大时,则说明该目标队列在目标交换机中的网络吞吐率越高,则该队列带宽所对应的候选拥塞门限更加适合作为该目标交换机在目标场景参数所对应的网络环境下采用的拥塞门限值。
综上所述,将设置了目标场景参数的目标交换机,分别设置不同的候选拥塞门限后进行测试,获得各个不同候选拥塞门限所对应的目标队列的队列带宽,此时比较各个目标队列的队列带宽之间的大小关系,即可以确定出适合在目标场景参数下设置的拥塞门限。通过上述方案,计算机设备通过对目标交换机在目标传输环境下的不同候选拥塞门限得到的队列带宽进行分析对比,确定出目标交换机在目标场景参数所指示的传输环境下的最优拥塞门限,从而使得选取出的拥塞门限考虑了当前交换机所处的场景,提高了网络拥塞控制效果,从而提高了交换机的网络吞吐率。
图5是根据一示例性实施例示出的拥塞门限确定方法的方法流程图。该方法由计算机设备执行,该计算机设备可以是如图1所示的拥塞门限确定方法系统中的控制器。如图5所示,该拥塞门限确定方法可以包括如下步骤:
步骤501,检测在指定时间内目标队列的平均带宽与物理带宽的第一比值。
为了获取当前状态下的目标交换机所处的网络环境,目标交换机可以在指定时间内对目标队列的带宽件检测,获得指定时间内的目标队列的平均带宽(例如3秒内的平均带宽),此时该平均带宽即可以近似表征目标队列的数据传输量。
步骤502,根据该第一比值查询带宽标识映射表,获得该队列带宽范围标识。
该带宽标识映射表用于指示该各个队列带宽范围标识与比值区间之间的对应关系。
当获取到第一比值后,可以根据第一比值查询计算机设备内部预先存储的带宽标识映射表,从而确定与该第一比值所对应的队列带宽范围标识。例如该带宽标识映射表,可以将队列带宽与物理带宽的比值划分到某一个区域,且各个区域的范围为:A=[0,65],B=(65,70],C=(70,75],D=(75,80],E=(80,85],F=(85,90],G=(90,95],H=(95,100]。例如当第一比值为80时,则该第一比值所对应的队列带宽范围标识为D。
可选的,该计算机设备还读取该目标交换机除队列带宽范围标识之外的其他目标场景参数。例如计算机设备可以直接读取目标交换机的设备类型、目标端口的出接口速率以及目标端口的Incast状态等,并基于该目标交换机的目标场景参数生成与该目标场景参数所指示的模型,以便后续对该模型设置不同的候选拥塞门限进行测试。
步骤503,获取目标交换机的各组候选拥塞门限。
可选的,各组候选拥塞门限可以是预先设置好并存储与计算机设备中的。即开发人员可以按照经验预先设置好候选拥塞门限,以对该目标交换机进行测试。
在一种可能的实现方式中,按照第一步长,遍历低门限值的选取区间,获得各个候选低门限值;
按照第二步长,遍历高门限值的选取区间,获得各个候选高门限值;
按照第三步长,遍历概率门限值的选取区间,获得各个候选概率门限值;
将各个候选低门限值、各个候选高门限值以及各个候选概率门限值一一组合,获得该目标交换机的各组该候选拥塞门限;该候选拥塞门限中,候选高门限值大于候选低门限值。
可选的,该高门限值的选取区间可以是预先设置的,例如[70,90],也可以是整个比例区间[0,100],同理,该低门限值的选取区间可以是预先设置的,例如[40,50],也可以是整个比例区间[0,100];该概率门限值的选取区间可以是预先设置的,例如[50%,80%],也可以是整个概率区间[0,1]。
可选的,该第一步长、第二步长以及第三步长,可以是随机选取的,也可以是根据该选取区间的宽度进行设定的,例如选取区间/10,本申请对此不设限制,在不同的测试环境中可以设置不同的步长。
而当获取到各个候选低门限值、各个候选高门限值以及各个候选门限值时,可以将各个候选门限值、各个候选高门限值以及各个候选概率门限值之间进行组合,例如当存在A个候选低门限值、B个候选高门限值以及C个候选概率门限值时,理论上候选拥塞门限存在A*B*C种组合。但显然候选高门限值需要高于候选低门限值,因此可以将高门限值不高于候选低门限值的组合排除,获得各组候选拥塞门限。
步骤504,获取目标交换机在目标场景参数下,设置各组候选拥塞门限分别得到目标队列的各个队列带宽。
可选的,该队列带宽可以是在指定时间内目标队列的平均带宽,当目标交换机在目标场景参数下,设置各组候选拥塞门限后进行测试,可以分别得到各个平均带宽,该各个平均带宽即可以表征目标交换机在目标场景参数下设置不同候选拥塞门限后的数据传输情况。
步骤505,将设置各组候选拥塞阈值时得到的各个队列带宽进行两两比较,并根据比较结果构建权重强度矩阵。
可选的,该权重强度矩阵中的目标权重元素的行列序号分别表征进行比较的候选拥塞门限的组号;该目标权重元素用于指示形成目标比较结果的次数。
请参考图6,其示出了本申请实施例涉及的一种权重强度矩阵示意图。如图6所示。以第N行第M列为例,该权重元素为5,则代指目标交换机在设置拥塞门限进行测试时,设置第N候选拥塞门限,以及设置第M候选拥塞门限时,得到的第N队列带宽大于第M队列带宽的次数为5,也就是说,在多次设置第N候选拥塞门限以及第M候选拥塞门限,并将得到的第N队列带宽以及第M队列带宽进行比较时,有五次比较结果指示第N队列带宽大于第M队列带宽。而由于第M行第N列的权重元素为3,因此显然第N队列带宽与第M队列带宽相比,是更适合目标场景参数的候选拥塞门限。
在另一种可能的实现方式中,该权重强度矩阵中的权重元素用于表征设置行数所对应的候选拥塞门限得到的目标队列的队列带宽为较小值的次数。
由于上述两种可能的实现方式中的权重强度矩阵互为转置矩阵,其实质代表的内容一致,为了方便起见,后续方案以权重元素用于表征设置行数所对应的候选拥塞门限得到的目标队列的队列带宽为较大值的次数为例进行描述。
在一种可能的实现方式中,当该权重强度矩阵中的第M行N列的权重元素,大于该权重强度矩阵中第N行第M列的权重元素时,确定第M组候选拥塞门限优于第N组候选拥塞门限。
在一种可能的实现方式中,当设置第N候选拥塞门限时得到的第N队列带宽,大于设置第M候选拥塞门限时得到的第M队列带宽时,将该权重强度矩阵中的第N行第M列的权重元素加1,得到更新后的权重强度矩阵。
在获取到第M候选拥塞门限时,目标交换机中的目标队列的队列带宽为第M队列带宽,而此时将目标交换机切换为第N候选拥塞门限,此时目标交换机中的目标队列的队列带宽为第N队列带宽,当第N队列带宽大于第M队列带宽时,则将该权重强度矩阵中的第N行第M列的元素加一,代表第N队列带宽大于第M队列带宽的次数加1。
因此当进行了若干次测试之后,当比较第N行第M列的元素,以及第M行第N列的元素,即可以确定第N队列带宽大于第M队列带宽的次数,以及第M队列带宽大于第N队列带宽的次数,从而比较出第N候选拥塞门限以及第M候选拥塞门限在目标场景参数下的优劣情况。
步骤506,根据权重强度矩阵中的各个权重元素,获取各组候选拥塞门限之间的优劣关系,以生成门限优劣表,并将门限优劣表中最优的候选拥塞门限确定为目标交换机在目标场景参数下的拥塞门限。
当根据比较结果得出权重强度矩阵中的各个权重元素时,各个权重元素即代表了各个候选拥塞门限之间的优劣关系,当获取到候选拥塞门限之间的优劣关系之后,即可以按照优劣关系,将各个候选拥塞门限进行排序,从而得到门限优劣表。例如当根据权重强度矩阵确定第一候选拥塞门限优于第二候选拥塞门限,第二候选拥塞门限优于第三候选拥塞门限后,则可以生成第一候选拥塞门限、第二候选拥塞门限、第三候选拥塞门限依次排序的门限优劣表。
在一种可能的实现方式中,当该目标交换机设置为该目标场景参数时,根据目标交换机传输的目标业务的优先级,生成拥塞门限上限;
在该门限优劣表中,选取满足该拥塞门限上限的最优的候选拥塞门限,以控制该目标交换机的数据传输。
由于ECN标记门限设置偏高,队列突发吸收能力强,对吞吐有益,但带来过大的队列深度和时延,对时延敏感的控制/协议流不利。反之,ECN标记门限设置偏低,队列维持低水平的深度,队列时延较低,对时延敏感的业务流有益,但队列突发吸收能力弱,从而对吞吐要求高的业务不利。
因此当目标交换机用于传输目标业务时,目标业务的优先级更高时,则该目标业务的时延要求也相应的更高,此时需要对目标交换机传输目标业务时的拥塞门限设置上限,使得目标交换机在传输目标业务的过程中,在保证时延较低的前提下,提高目标交换机传输目标业务时的吞吐率。
综上所述,将设置了目标场景参数的目标交换机,分别设置不同的候选拥塞门限后进行测试,获得各个不同候选拥塞门限所对应的目标队列的队列带宽,此时比较各个目标队列的队列带宽之间的大小关系,即可以确定出适合在目标场景参数下设置的拥塞门限。通过上述方案,计算机设备通过对目标交换机在目标传输环境下的不同候选拥塞门限得到的队列带宽进行分析对比,确定出目标交换机在目标场景参数所指示的传输环境下的最优拥塞门限,从而使得选取出的拥塞门限考虑了当前交换机所处的场景,提高了网络拥塞控制效果,从而提高了交换机的网络吞吐率。
请参考图7,其是根据本申请实施例涉及的一种拥塞门限确定方法的流程示意图。如图7所示,该拥塞门限确定方法的步骤如下所示。
(1)针对指定Roce队列的平均带宽,计算其占出端口物理带宽的比例,并据此划分为若干个范围段。
Roce数据流一般被网络上的各个设备统一映射到指定的优先级队列上,并在该优先级队列上使能PFC,ECN等配置,以实现无损转发。比如常见的RDMA配置,将cos 5队列或cos 4队列设置为Roce队列。
我们关注Roce队列的报文速率,这里统计的是队列短时间内(如1S或3S)的平均带宽,它指的是经由该出队列发送的Roce数据流的平均带宽(速率),用BW_avg表示,单位一般是bps。它与队列所在出接口的物理带宽(BW_total)的比值,表示该队列的吞吐负荷程度,BW_ratio=BW_avg/BW_total。
根据BW_ratio的大小,我们可以将其划分到如下指定的某个范围段内。Range:A=[0,65],B=(65,70],C=(70,75],D=(75,80],E=(80,85],F=(85,90],G=(90,95],H=(95,100]。
举例:某个100G(BW_total)出端口,cos 5是roce队列,该队列此刻的平均带宽为78G(BW_avg),则计算BW_ratio=78%,它落在D=(75,80]这个范围内,其Range=D。
(2)使用设备类型、出接口速率、Incast以及队列带宽range等参数向量作为场景模型划分的依据。
获取交换机的设备类型(比如S6850,S9850,S9820属于XGS类,S125R属于June类,…属于Marvel类,…),出端口速率(25G/100G),Incast(即多个Input端口打一个output端口),队列range值等信息,组成场景模型参数向量:(DeviceType,PortSpeed,Incast,Range),它作为划分场景模型的依据,即不同的参数向量对应不同的场景模型。
由于设备类型一般只有少数几种,交换机端口物理速率也不多(25G/40G/50G/100G),Incast取值一般是[1,16]的整数,超过16:1的情况非常少见;而Range的计算参照上一步,只有A/B/../H等8种取值。这样就把繁杂无尽的场景模型划分为有限的几种,使得生成的模型数据文件可以覆盖所有的场景模型。
(3)相同场景模型下,根据测试数据计算配置比较权重矩阵进而获取ECN配置参数的优劣关系,自动生成“流量模型文件”,以表征在场景模型中所适用的ECN配置参数。
相关算法细节如下所示:
为每个场景模型创建一个WeightMatrix(权重矩阵)和一个列表EcnList(优劣表),其中Matrix用来记录Ecn配置比较关系统计次数,而EcnList是用来记录Ecn优劣关系的有序列表。
在同一测试条件(即组网、测试流量都不变的情况)下,每次更改交换机ECN参数设置(将ECN的几个参数按一定步长间隔(step)进行遍历)可以得到一组测试数据,经参数化处理得到形如{DeviceType,PortSpeed,Incast,Range,EcnCfg,Thrput}的向量,其中EcnCfg指的是当前ECN的配置参数,有Kmin,Kmax,Pmax组成,Thrput指的是队列的队列带宽(可以是指定时间内的平均带宽),代表吞吐率,它也是这里要考虑的主要性能指标。将这些参数向量记录到代表指定设备出端口{DeviceIP,OutputPort}的列表(CurDataList)中去。CurDataList中的数据,如果包含不同EcnCfg,则计算每个EcnCfg对应Thrput的平均值,做比较并将比较结果加入WeightMatrix。
通过更改测试组网、数据流数目、各数据流流量大小等因此,可以得到不同的测试条件,进而根据上步操作遍历ECN参数设置得到更多的测试数据。
WeightMatrix根据新加入的数据,计算其权重强度,从而构成一个权重矩阵。例如:新添加数据为:EcnCfg1>EcnCfg2,则记录Weight_1_2++;若添加数据为EcnCfg1<EcnCfg2,则记录Weight_2_1++。
这样根据WeightMatrix,我们就可以得到同一场景模型下的各ECN配置优劣关系,从而生成EcnList优先级列表,进而得到该场景模型的推荐配置。
综合各场景模型的推荐配置,即可得到模型数据文件(即ECN配置调整规则),用于指导对应场景模型的ECN配置调整。
(4)通过设置ECN配置Kmin/Kmax参数的选择范围,可以增加时延性能约束,从而提高方案对不同应用场景的适应能力。
不同应用场景对网络的要求有所不同,比如HPC应用(深度学习)场景,对网络时延的要求非常高,而分布式存储场景则只关注吞吐性能。所以针对不同的应用场景,其性能指标的选取也有所不同。经实验测试机理论分析,ECN配置当Kmax参数不太大的条件下,则Kmin参数越小,则时延性越高。因此,这里通过限制Kmin<=Threshold_1,Kmax<=Threshold_2,在这样的约束条件下,从EcnList选择满足条件的最优配置,即可满足时延要求且吞吐性能最高。这大大方案对不同应用场景的适应能力。
图8是根据一示例性实施例示出的一种拥塞门限确定装置的结构方框图。所述装置包括:
候选门限获取模块801,用于获取目标交换机的各组候选拥塞门限;
带宽确定模块802,用于获取所述目标交换机在目标场景参数下,设置所述各组候选拥塞门限分别得到的目标队列的各个队列带宽;所述目标场景参数包括设备类型、出接口速率、多对一状态Incast以及队列带宽范围标识中的至少一者;
拥塞门限确定模块803,用于基于所述各个队列带宽之间的大小关系,确定所述目标交换机在目标场景参数下的拥塞门限。
在一种可能的实现方式中,所述装置还包括:
第一比值检测模块,用于检测在指定时间内目标队列的平均带宽,与物理带宽的第一比值;
队列带宽标识获取模块,用于根据所述第一比值查询带宽标识映射表,获得所述队列带宽范围标识;所述带宽标识映射表用于指示所述各个队列带宽范围标识与比值区间之间的对应关系。
在一种可能的实现方式中,所述拥塞门限包括低门限值、高门限值以及概率门限值;
所述候选门限获取模块,还包括:
低门限获取单元,用于按照第一步长,遍历低门限值的选取区间,获得各个候选低门限值;
高门限获取单元,用于按照第二步长,遍历高门限值的选取区间,获得各个候选高门限值;
概率门限获取单元,用于按照第三步长,遍历概率门限值的选取区间,获得各个候选概率门限值;
候选门限获取单元,用于将各个候选低门限值、各个候选高门限值以及各个候选概率门限值一一组合,获得所述目标交换机的各组所述候选拥塞门限;所述候选拥塞门限中,候选高门限值大于候选低门限值。
在一种可能的实现方式中,所述拥塞门限确定模块,还包括:
权重矩阵构建单元,用于将设置各组所述候选拥塞阈值时得到的所述各个队列带宽进行两两比较,并根据比较结果构建权重强度矩阵;所述权重强度矩阵中的目标权重元素的行列序号分别表征进行比较的候选拥塞门限的组号;所述目标权重元素用于指示形成目标比较结果的次数;
优劣表生成单元,用于根据权重强度矩阵中的各个权重元素,获取各组候选拥塞门限之间的优劣关系,以生成门限优劣表,并将门限优劣表中最优的候选拥塞门限确定为目标交换机在目标场景参数下的拥塞门限。
在一种可能的实现方式中,所述权重矩阵构建单元,还用于,
当设置第N候选拥塞门限时得到的第N队列带宽,大于设置第M候选拥塞门限时得到的第M队列带宽时,将所述权重强度矩阵中的第N行第M列的元素加1,得到更新后的权重强度矩阵。
在一种可能的实现方式中,所述优劣表生成单元,还用于,
当所述权重强度矩阵中的第M行N列的权重元素,大于所述权重强度矩阵中第N行第M列的权重元素时,确定第M组候选拥塞门限优于第N组候选拥塞门限。
在一种可能的实现方式中,所述装置还包括:
门限上限获取模块,用于当所述目标交换机设置为所述目标场景参数时,根据目标交换机传输的目标业务的优先级,生成拥塞门限上限;
最优门限获取模块,用于在所述门限优劣表中,选取满足所述拥塞门限上限的最优的候选拥塞门限,以控制所述目标交换机的数据传输。
综上所述,将设置了目标场景参数的目标交换机,分别设置不同的候选拥塞门限后进行测试,获得各个不同候选拥塞门限所对应的目标队列的队列带宽,此时比较各个目标队列的队列带宽之间的大小关系,即可以确定出适合在目标场景参数下设置的拥塞门限。通过上述方案,计算机设备通过对目标交换机在目标传输环境下的不同候选拥塞门限得到的队列带宽进行分析对比,确定出目标交换机在目标场景参数所指示的传输环境下的最优拥塞门限,从而使得选取出的拥塞门限考虑了当前交换机所处的场景,提高了网络拥塞控制效果,从而提高了交换机的网络吞吐率。
请参阅图9,其是根据本申请一示例性实施例提供的一种计算机设备示意图,所述计算机设备包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的拥塞门限确定方法。
其中,处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一示例性实施例中,还提供了一种计算机可读存储介质,用于存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种拥塞门限确定方法,其特征在于,所述方法包括:
获取目标交换机的各组候选拥塞门限;
获取所述目标交换机在目标场景参数下,设置所述各组候选拥塞门限分别得到的目标队列的各个队列带宽;所述目标场景参数包括设备类型、出接口速率、多对一状态Incast以及队列带宽范围标识中的至少一者;
基于所述各个队列带宽之间的大小关系,确定所述目标交换机在目标场景参数下的拥塞门限。
2.根据权利要求1所述的方法,其特征在于,当所述目标场景参数包括队列带宽范围标识时,所述获取目标交换机的各组候选拥塞门限之前,所述方法还包括:
检测在指定时间内所述目标队列的平均带宽,与目标队列所处端口的物理带宽的第一比值;
根据所述第一比值查询带宽标识映射表,获得所述队列带宽范围标识;所述带宽标识映射表用于指示所述各个队列带宽范围标识与比值区间之间的对应关系。
3.根据权利要求1或2所述的方法,其特征在于,所述拥塞门限包括低门限值、高门限值以及概率门限值;
所述获取目标交换机的各组候选拥塞门限,包括:
按照第一步长,遍历低门限值的选取区间,获得各个候选低门限值;
按照第二步长,遍历高门限值的选取区间,获得各个候选高门限值;
按照第三步长,遍历概率门限值的选取区间,获得各个候选概率门限值;
将各个候选低门限值、各个候选高门限值以及各个候选概率门限值一一组合,获得所述目标交换机的各组所述候选拥塞门限;所述候选拥塞门限中,候选高门限值大于候选低门限值。
4.根据权利要求1或2所述的方法,其特征在于,所述基于所述各个队列带宽之间的大小关系,确定所述目标交换机在目标场景参数下的拥塞门限,包括:
将设置所述各组候选拥塞阈值时得到的所述各个队列带宽进行两两比较,并根据比较结果构建权重强度矩阵;所述权重强度矩阵中的目标权重元素的行列序号分别表征进行比较的候选拥塞门限的组号;所述目标权重元素用于指示形成目标比较结果的次数;
根据权重强度矩阵中的各个权重元素,获取各组候选拥塞门限之间的优劣关系,以生成门限优劣表,并将门限优劣表中最优的候选拥塞门限确定为目标交换机在目标场景参数下的拥塞门限。
5.根据权利要求4所述的方法,其特征在于,所述基于所述各个队列带宽之间的大小关系,构建权重强度矩阵,包括:
当设置第N候选拥塞门限时得到的第N队列带宽,大于设置第M候选拥塞门限时得到的第M队列带宽时,将所述权重强度矩阵中的第N行第M列的元素加1,得到更新后的权重强度矩阵。
6.根据权利要求4所述的方法,其特征在于,所述根据权重强度矩阵中的各个权重元素,获取各个候选拥塞门限之间的优劣关系,包括:
当所述权重强度矩阵中的第M行N列的权重元素,大于所述权重强度矩阵中第N行第M列的权重元素时,确定第M组候选拥塞门限优于第N组候选拥塞门限。
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:
当所述目标交换机设置为所述目标场景参数时,根据目标交换机传输的目标业务的优先级,生成拥塞门限上限;
在所述门限优劣表中,选取满足所述拥塞门限上限的最优的候选拥塞门限,以控制所述目标交换机的数据传输。
8.一种拥塞门限确定装置,其特征在于,所述装置包括:
候选门限获取模块,用于获取目标交换机的各组候选拥塞门限;
带宽确定模块,用于获取所述目标交换机在目标场景参数下,设置所述各组候选拥塞门限分别得到的目标队列的各个队列带宽;所述目标场景参数包括设备类型、出接口速率、多对一状态Incast以及队列带宽范围标识中的至少一者;
拥塞门限确定模块,用于基于所述各个队列带宽之间的大小关系,确定所述目标交换机在目标场景参数下的拥塞门限。
9.一种计算机设备,其特征在于,所述计算机设备中包含处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的拥塞门限确定方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的拥塞门限确定方法。
CN202111407035.3A 2021-11-24 2021-11-24 拥塞门限确定方法、装置、设备及存储介质 Pending CN114070795A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111407035.3A CN114070795A (zh) 2021-11-24 2021-11-24 拥塞门限确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111407035.3A CN114070795A (zh) 2021-11-24 2021-11-24 拥塞门限确定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114070795A true CN114070795A (zh) 2022-02-18

Family

ID=80275882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111407035.3A Pending CN114070795A (zh) 2021-11-24 2021-11-24 拥塞门限确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114070795A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134302A (zh) * 2022-06-27 2022-09-30 长沙理工大学 一种无损网络中避免队头阻塞和拥塞扩散的流量隔离方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115134302A (zh) * 2022-06-27 2022-09-30 长沙理工大学 一种无损网络中避免队头阻塞和拥塞扩散的流量隔离方法
CN115134302B (zh) * 2022-06-27 2024-01-16 长沙理工大学 一种无损网络中避免队头阻塞和拥塞扩散的流量隔离方法

Similar Documents

Publication Publication Date Title
KR100757872B1 (ko) 네트워크에서의 혼잡 발생 예고 시스템 및 방법
EP3516833B1 (en) Methods, systems, and computer readable media for discarding messages during a congestion event
EP2615802B1 (en) Communication apparatus and method of content router to control traffic transmission rate in content-centric network (CCN), and content router
US5892754A (en) User controlled adaptive flow control for packet networks
US7688853B2 (en) System and method for hierarchical policing of flows and subflows of a data stream
WO2021012697A1 (zh) 应用mos模型的训练方法、设备及系统
CN112702274B (zh) 战术瞄准网络技术中基于路由稳定性的跨层拥塞控制方法
US20050030952A1 (en) Call admission control/session management based on N source to destination severity levels for IP networks
US7224670B2 (en) Flow control in computer networks
JP2006506845A (ja) ルータにおけるパケットに対し論理リンクを選択する方法
CN112787951B (zh) 拥塞控制方法、装置、设备和计算机可读存储介质
CN116886609A (zh) 拥塞控制方法及装置、通信网络、计算机存储介质
CN113141314B (zh) 一种拥塞控制方法及设备
EP1514389A1 (en) Token bucket parameters computation for guaranteed services in a data network
CN111211936B (zh) 一种基于网络状态的数据处理方法和装置
CN111431811A (zh) 一种报文传输控制方法、装置和网络设备
CN114070795A (zh) 拥塞门限确定方法、装置、设备及存储介质
KR20220029142A (ko) Sdn 컨트롤러 서버 및 이의 sdn 기반 네트워크 트래픽 사용량 분석 방법
CN114095448A (zh) 一种拥塞流的处理方法及设备
CN112887218B (zh) 一种报文转发方法及装置
Pan et al. Improvement of bbrv2 congestion control algorithm based on flow-aware ecn
CN112787919A (zh) 报文传输方法及设备、可读介质
CN114175595A (zh) 导出遥测数据的设备和方法
CN117938750B (zh) 调度路由信息的处理方法、装置、设备、存储介质及产品
CN117857649B (zh) 一种传输控制协议数据包的传输方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication