CN115460156B - 一种数据中心无损网络拥塞控制方法、装置、设备及介质 - Google Patents

一种数据中心无损网络拥塞控制方法、装置、设备及介质 Download PDF

Info

Publication number
CN115460156B
CN115460156B CN202211150477.9A CN202211150477A CN115460156B CN 115460156 B CN115460156 B CN 115460156B CN 202211150477 A CN202211150477 A CN 202211150477A CN 115460156 B CN115460156 B CN 115460156B
Authority
CN
China
Prior art keywords
current
rate
switch
congestion
zero
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211150477.9A
Other languages
English (en)
Other versions
CN115460156A (zh
Inventor
王进
袁冬至
胡晋彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202211150477.9A priority Critical patent/CN115460156B/zh
Publication of CN115460156A publication Critical patent/CN115460156A/zh
Application granted granted Critical
Publication of CN115460156B publication Critical patent/CN115460156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/26Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/263Rate modification at the source after receiving feedback
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种数据中心无损网络拥塞控制方法、装置、设备及介质,涉及通信技术领域,包括:当交换机获取到发送端发送的数据包时,判断交换机是否发生了拥塞;若发生了拥塞则利用带内网络遥测技术对交换机当前的拥塞信息进行获取得到当前拥塞信息,并通过交换机将当前拥塞信息反馈至发送端;通过发送端判断当前拥塞信息中携带的交换机的当前队列长度是否大于零,若大于零则对发送端的当前发送速率进行降速处理,若不大于零则对发送端的当前发送速率进行增速处理。本申请通过带内网络遥测技术能够通过交换机直接将拥塞信息反馈至发送端并进行调速,从而及时的反馈拥塞信号,减少反馈延迟,使数据中心无损网络满足高吞吐、低延迟的需求。

Description

一种数据中心无损网络拥塞控制方法、装置、设备及介质
技术领域
本申请涉及通信技术领域,特别涉及一种数据中心无损网络拥塞控制方法、装置、设备及介质。
背景技术
当前,数据中心已成为云计算、大规模数据存储和数据交互的基础设施,越来越多的企业和个人把在线应用服务迁移到数据中心上。数据中心通常采用商用器件,将服务器和交换机通过设计的网络进行互联,从而以更经济更便捷的方式实现高速计算和海量存储等需求。在支撑服务的各项技术中,数据中心网络(DCN,Data Communication Network)是一个重要的性能瓶颈,已经引起了广泛的关注。
目前,数据中心存在大量对延时敏感的实时交互式应用,如网页搜索和查询业务、各种社交网站和零售业务等,上述应用经常产生大量的突发短流,为了提高各项应用的性能、服务质量及用户体验感,应尽可能减小突发短流的完成时间。同时,数据中心也存在最新时效数据更新、数据挖掘和备份等应用,上述应用会产生数据量很大的长流,因此在数据中心中就出现了长短流长期并存的现象。并且,数据中心的流量呈现重尾分布,约90%的数据量仅由约10%的流提供,而约90%的流只提供了约10%的数据量。也就是说,数据中心的短流数量占绝大多数,但每条短流的数据量却较小。
目前,为了满足高吞吐低延迟的需求,已经提出了远程直接内存访问技术(RDMA),该技术可以绕过协议栈直接访问内存,大大提高了数据传输的效率。然而,RDMA需要RoCE协议栈的支持,而RoCE协议栈为了保证数据的可靠传输及数据包的不丢失,需要基于优先级的流量控制(PFC,priority flow control)来保证无损网络。但是,PFC在保证零丢包的同时,还引入了一些新的问题,如队头阻塞(HLB,head-of-line blocking)。当PFC不断触发时,局部拥塞还会扩散回拥塞源和非拥塞源,严重影响了网络吞吐量和流完成时间。
因此,如何解决队头阻塞问题,保证数据中心的高效运转,满足数据中心无损网络高吞吐、低延迟的需求是目前还有待进一步解决的问题。
发明内容
有鉴于此,本申请的目的在于提供一种数据中心无损网络拥塞控制方法、装置、设备及存储介质,能够通过交换机直接将拥塞信息反馈至发送端,无需通过接收端对拥塞信息进行转发,从而及时的反馈拥塞信号,减少反馈延迟,使数据中心无损网络满足高吞吐、低延迟的需求。其具体方案如下:
第一方面,本申请公开了一种数据中心无损网络拥塞控制方法,包括:
当交换机获取到发送端发送的数据包时,判断所述交换机是否发生了拥塞;
若所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息,并通过所述交换机将所述当前拥塞信息反馈至所述发送端;
通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零;
若所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理,若所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理。
可选的,所述判断所述交换机是否发生了拥塞,包括:
获取所述交换机的当前队列长度、当前队列变化率和当前链路利用率;
判断所述当前队列长度是否大于零,若是则判断所述当前队列变化率是否大于等于零并且所述当前链路利用率大于等于预设阈值;
若所述当前队列变化率大于等于零并且所述当前链路利用率大于等于所述预设阈值,则判定所述交换机发生了拥塞。
可选的,所述判断所述当前队列变化率是否大于等于零并且所述当前链路利用率大于等于预设阈值之后,还包括:
若所述当前队列变化率小于零或所述当前链路利用率小于所述预设阈值,则计算预设时间后的所述交换机的队列变化率,得到最新队列变化率;
判断所述最新队列变化率是否小于零并且所述当前链路利用率小于所述预设阈值;
若所述最新队列变化率小于零并且所述当前链路利用率小于所述预设阈值则判定所述交换机未发生拥塞,若所述最新队列变化率大于等于零或所述当前链路利用率大于等于所述预设阈值则判定所述交换机发生了拥塞。
可选的,所述判定所述交换机未发生拥塞之后,还包括:
按照预设的时间间隔获取所述发送端与所述交换机之间的链路信息和所述交换机的状态信息,并将所述链路信息和所述状态信息发送至所述发送端。
可选的,所述对所述发送端的当前发送速率进行降速处理,包括:
判断所述当前拥塞信息中携带的所述最新队列变化率是否大于零,若是则按照所述发送端的最大发送速率对所述发送端的当前发送速率进行降速处理,若否则按照所述发送端的最小发送速率对所述发送端的当前发送速率进行降速处理。
可选的,所述对所述发送端的当前发送速率进行增速处理,包括:
获取当前所述发送端的发送速率及所述发送端与所述交换机之间的链路速率和链路利用率,得到当前发送速率、当前链路速率和所述当前链路利用率;
利用所述当前发送速率、所述当前链路速率和所述当前链路利用率计算用于对所述发送端的所述当前发送速率进行增速的目标速度。
可选的,所述通过所述交换机将所述当前拥塞信息反馈至所述发送端,包括:
通过所述交换机中的通信网络处理器将所述当前拥塞信息反馈至所述发送端。
第二方面,本申请公开了一种数据中心无损网络拥塞控制装置,包括:
拥塞判断模块,用于当交换机获取到发送端发送的数据包时,判断所述交换机是否发生了拥塞;
拥塞信息获取模块,用于如果所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息;
反馈模块,用于通过所述交换机将所述当前拥塞信息反馈至所述发送端;
队列长度判断模块,用于通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零;
降速模块,用于如果所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理;
增速模块,用于如果所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理。
第三方面,本申请公开了一种电子设备,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现前述的数据中心无损网络拥塞控制方法。
第四方面,本申请公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述的数据中心无损网络拥塞控制方法。
可见,本申请当交换机获取到发送端发送的数据包时,先判断所述交换机是否发生了拥塞,如果所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息,并通过所述交换机将所述当前拥塞信息反馈至所述发送端,接着通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零,如果所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理,如果所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理。本申请通过带内网络遥测技术能够获取交换机准确的拥塞信息,并通过交换机直接将拥塞信息反馈至发送端进行调速,无需通过接收端对拥塞信息进行转发,能够及时的反馈拥塞信号,减少反馈延迟,使数据中心无损网络满足高吞吐、低延迟的需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种数据中心无损网络拥塞控制方法流程图;
图2为本申请公开的一种具体的数据中心无损网络拓扑图;
图3为本申请公开的一种具体的数据中心无损网络拥塞控制方法流程图;
图4为本申请公开的一种数据中心无损网络拥塞控制装置结构示意图;
图5为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例公开了一种数据中心无损网络拥塞控制方法,参见图1所示,该方法包括:
步骤S11:当交换机获取到发送端发送的数据包时,判断所述交换机是否发生了拥塞。
可以理解的是,交换机在运行的过程中是以流的形式实时的接收来自发送端发送的数据包,其中,所述交换机上包括输入端口和输出端口,所述输入端口用来接收发送端发送的数据包,所述输出端口用于按照一定的速率输出数据。具体的,参见图2所示,图2中的S0和S1是两个交换机,H0和H1是长流发送端,H2~Hn和Hb都是短流发送端,R0和R1是长流的接收端,R2是短流接收端,它们分别链接到对应的交换机S0和S1上。P0~P6是交换机的端口,F0和F1是长流,F2~Fn和Fb都是短流。进一步的,为了证明队头阻塞这个问题的严重性,假设F0是非拥塞长流,F1是受害者流,F2~Fn和Fb是拥塞流,服务器H0生成的长流F0流向接收器R0,服务器H1生成一条100M的长流,并将它发送到接收端R0。与此同时,服务器H2~Hn发送60条64Kb的突发短流到R1,服务器Hb也发送60条短流到接收器R1,F1和短流F2~Fn虽然分别流向不同的接收器R0和R1,但是它们都会通过相同的端口P0和P1。由于突发端口P1会迅速发生拥塞并触发PFC,然后PFC的暂停消息会逐跳反馈到上游交换机的端口P0。这些拥塞短流会阻塞长流F1的发送,由此可见,长流F1虽然不是造成拥塞的原因,但也被阻塞了,所以长流F1是受害者流,上述拥塞流阻塞非拥塞流的现象为队头阻塞。
本实施例中,为了实现对数据中心无损网络的拥塞控制,当交换机获取到发送端发送的数据包时,先判断上述交换机是否发生了拥塞。在一种具体的实施方式中,所述判断所述交换机是否发生了拥塞,具体可以包括:获取所述交换机的当前队列长度、当前队列变化率和当前链路利用率;判断所述当前队列长度是否大于零,若是则判断所述当前队列变化率是否大于等于零并且所述当前链路利用率大于等于预设阈值;若所述当前队列变化率大于等于零并且所述当前链路利用率大于等于所述预设阈值,则判定所述交换机发生了拥塞。例如,当下游交换机从上游交换机的出端口接收到各个数据包后,先获取自身的状态信息,如获取当前队列长度qlen、当前队列变化率qlenrate1和当前链路利用率lu,然后判断所述当前队列长度qlen是否大于零,若qlen>0,则进一步的判断所述当前队列变化率qlenrate1是否大于等于零同时上述当前链路利用率lu大于等于预设阈值,如果qlenrate1≥0并且lu≥70%,那么可以判定当前所述下游交换机发生了拥塞。
进一步的,如果判定出所述交换机未发生拥塞,那么可以按照预设的时间间隔获取所述发送端与所述交换机之间的链路信息和所述交换机的状态信息,并将所述链路信息和所述状态信息发送至所述发送端。例如,通过一个计时器timer设置一个时间间隔,如15μs(微妙),然后按照上述时间间隔对发送端与交换机之间的链路信息和交换机的状态信息进行获取,再通过交换机将上述链路信息和上述状态信息发送到发送端。需要指出的是,交换机每隔15μs就发送一次拥塞信息,是在没有发生拥塞的情况下进行的,如果在预设的时间间隔15μs内发生了拥塞,则会立即发送拥塞信息,并将时钟重置为当前的时刻。
步骤S12:若所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息,并通过所述交换机将所述当前拥塞信息反馈至所述发送端。
本实施例中,如果上述交换机发生了拥塞,则可以利用带内网络遥测技术(INT,In-network telemetry)对上述交换机当前的拥塞信息进行获取,得到相应的当前拥塞信息,然后直接通过所述交换机将上述当前拥塞信息发送至上述发送端。其中,所述当前拥塞信息包括但不限于当前队列变化率、当前队列长度、当前链路利用率等信息。
步骤S13:通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零。
本实施例中,所述发送端获取到所述交换机发送的上述当前拥塞信息之后,进一步的,判断上述当前拥塞信息中携带的所述交换机的当前队列长度qlen是否大于零。
步骤S14:若所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理,若所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理。
本实施例中,如果上述当前队列长度大于零,即qlen>0,则说明发生了拥塞,需要对上述发送端的当前发送速率进行降速处理。如果上述当前队列长度不大于零,即qlen≤0,则说明此时所述交换机的输出端口没有队列累积,这种情况下就需要提高所述发送端的发送速率了,即对上述发送端的当前发送速率进行相应的增速处理。
可见,本申请当交换机获取到发送端发送的数据包时,先判断所述交换机是否发生了拥塞,如果所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息,并通过所述交换机将所述当前拥塞信息反馈至所述发送端,接着通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零,如果所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理,如果所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理。本申请实施例通过带内网络遥测技术能够获取交换机准确的拥塞信息,并通过交换机直接将拥塞信息反馈至发送端进行调速,无需通过接收端对拥塞信息进行转发,能够及时的反馈拥塞信号,减少反馈延迟,使数据中心无损网络满足高吞吐、低延迟的需求。
本申请实施例公开了一种具体的数据中心无损网络拥塞控制方法,参见图2所示,该方法包括:
步骤S21:当交换机获取到发送端发送的数据包时,获取所述交换机的当前队列长度、当前队列变化率和当前链路利用率。
本实施例中,当交换机获取到发送端发送的数据包时,先对上述交换机的当前队列长度qlen、当前队列变化率qlenrate1和当前链路利用率lu进行获取。
步骤S22:判断所述当前队列长度是否大于零,若是则判断所述当前队列变化率是否大于等于零并且所述当前链路利用率大于等于预设阈值。
步骤S23:若所述当前队列变化率小于零或所述当前链路利用率小于所述预设阈值,则计算预设时间后的所述交换机的队列变化率,得到最新队列变化率。
本实施例中,如果上述当前队列变化率小于零,即qlenrate1<0,或上述当前链路利用率小于所述预设阈值,如lu<70%,则进一步的计算预设时间后的上述交换机的队列变化率,进而得到最新队列变化率,如计算与qlenrate1间隔5μs后的队列变化率,得到最新队列变化率qlenrate2。需要指出的是,在计算qlenrate1间隔5μs后再计算qlenrate2的值,而不是立即取下一时刻的值,一方面是为了确定当前队列长度是否真的在增加,另一方面是为了防止微突发的干扰,避免过度反应。
步骤S24:判断所述最新队列变化率是否小于零并且所述当前链路利用率小于所述预设阈值。
进一步的,判断上述最新队列变化率qlenrate2是否小于零,并且上述当前链路利用率lu小于上述预设阈值。
步骤S25:若所述最新队列变化率小于零并且所述当前链路利用率小于所述预设阈值则判定所述交换机未发生拥塞,若所述最新队列变化率大于等于零或所述当前链路利用率大于等于所述预设阈值则判定所述交换机发生了拥塞。
具体的,如果上述最新队列变化率qlenrate2<0并且上述当前链路利用率小于上述预设阈值,即lu<70%,那么就可以确定上述交换机未发生拥塞;如果上述最新队列变化率大于等于零,即qlenrate2≥0,或上述当前链路利用率大于等于所述预设阈值,即lu≥70%,那么就可以确定上述交换机发生了拥塞。
步骤S26:若所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息,并通过所述交换机中的通信网络处理器将所述当前拥塞信息反馈至所述发送端。
本实施例中,在判定出上述交换机发生了拥塞后,可以先利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,然后通过上述交换机中的通信网络处理器(CNP,Communications Network Processor)将上述当前拥塞信息发送至所述发送端。
步骤S27:通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零。
本实施例中,所述发送端接收到上述交换机发送的CNP数据包后,对上述CNP数据进行解析,得到所述当前拥塞信息。
步骤S28:若所述当前队列长度大于零,则判断所述当前拥塞信息中携带的所述最新队列变化率是否大于零,若是则按照所述发送端的最大发送速率对所述发送端的当前发送速率进行降速处理,若否则按照所述发送端的最小发送速率对所述发送端的当前发送速率进行降速处理。
本实施例中,如果上述当前队列长度大于零,即qlen>0,则进一步的判断上述当前拥塞信息中携带的所述最新队列变化率qlenrate2是否大于零,如果qlenrate2>0,则说明当前所述交换机的出端口队列长度有累积且队列长度还在迅速增加,此时可以对上述发送端的当前发送速率进行大幅度降速来减少出端口队列长度的累积。具体的,可以将当前发送速率降低到所述发送端的发送速率的最大值Vmax;如果qlenrate2≤0,则说明所述交换机的输出端口还有队列,所述交换机的输出端口处于拥塞状态,但此时的队列长度已经不增长了,并且呈现下降的趋势,此时如果依然采用上述的降速处理就不合适了,由于此时输出端口还有队列,所以还是需要降低发送速率,但是不需要降低太多,只需要在一个RTT(Round-Trip Time,往返时延)的时间段内把出端口的队列减少为0即可。具体的,可以将当前发送速率降低到所述发送端的发送速率的最小值Vmin
在一种具体的实施方式中,对于上述按照发送端的最大发送速率对发送端的当前发送速率进行降速的方式,即当前队列长度大于零且当前队列长度变化率大于零(qlen>0且qlenrate2>0),此时可以通过发送端对当前发送速率进行大幅度的降速处理。具体的,先设置一个队列长度阈值Qd,上述Qd阈值是比QPFC要小的阈值,即只要Qd不触发,那么QPFC肯定不会触发。其中,所述QPFC阈值为触发PFC的阈值。利用上述队列长度阈值Qd和上述最新队列长度变化率qlenrate2计算达到所述队列长度阈值Qd所需要的时间tq
tq=Qd/qlenrate2;
接着,计算拥塞信息从上述交换机传递到上述发送端所需要花费的时间td,然后利用上述tq和上述td计算拥塞信息从所述交换机传递到所述发送端并达到上述队列长度阈值Qd时的时间tm
tm=tq-td
进一步的,计算所述发送端的发送速率Vmax(t),所述发送速率Vmax(t)指的是不触发上述队列长度阈值Qd的最大速率,因为只要不触发Qd,就不会触发QPFC阈值,也就不会触发PFC。
可以理解的是,当qlen>0时,即交换机出端口有队列,所有交换机的输出端口的发送速率Vs(t)就是交换机NIC(network interface controller,网络接口控制器)的速率,即链路容量C。
具体的,所述发送端的最大发送速率Vmax(t)的计算公式为:
其中,n为发送端;T为一个RTT的时间;tm是达到阈值Qd的时间。
因此,发送端不触发所述队列长度阈值Qd时的最大速率Vmax(t)为:
在另一种具体的实施方式中,对于上述按照所述发送端的最小发送速率对所述发送端的当前发送速率进行降速的方式,即在队列长度大于零且队列长度变化率小于零(qlen>0且qlenrate2≤0)时,说明当前交换机的输出端口还有队列,即交换机的输出端口处于拥塞状态,但队列长度已经不增长了且呈现下降趋势,此时只要把当前队列排空就可以解除拥塞,避免触发PFC,故此时不能过度的降低发送速率。如果过度降低发送速率,则会导致链路利用率不高,吞吐率得不到保障。如果仅把发送速率降低到能够排空累积的队列的值,那么不仅能够保证吞吐率,还能降低FCT(Flow Completion Time,流完成时间),大幅提升系统性能。具体的,先预计出在保持当前队列变化率的情况下,经过多长时间能够排空累积的队列:
qlen/qlenrate2=t1;
其中,t1<T是预计在当前队列变化率的情况下,多长时间队列能够排空。若是t1<T,说明在一个RTT的时间内出端口的队列已经为空了,不用降速了。若是t1>T,说明一个RTT的时间内还处于拥塞状态。当取往返时延T作为降速时间时,不仅能简化处理,而且还能尽快把队列排空,解除拥塞,同时还可以保证吞吐率。求发送端最小的发送速率Vmin(t)的公式为:
为了保证吞吐率,发送端的最小发送速率Vmin(t)必须满足以下条件:
需要指出的是,在对发送端的发送速率进行降速的过程中,发送端的发送速率保持在以下范围内时,既不会触发PFC还能保持较高的吞吐量和较低的延迟,发送端的发送速率Vi(t)的取值范围为:
其中,C是链路容量,B是链路带宽,T是往返时延RTT,lu是链路利用率。
步骤S29:若所述当前队列长度不大于零,则获取当前所述发送端的发送速率及所述发送端与所述交换机之间的链路速率和链路利用率,得到当前发送速率、当前链路速率和所述当前链路利用率,并利用所述当前发送速率、所述当前链路速率和所述当前链路利用率计算用于对所述发送端的所述当前发送速率进行增速的目标速度。
本实施例中,如果上述当前队列长度qlen≤0,则说明当前所述交换机的输出端口没有队列累积,因此需要提高所述发送端的发送速率。具体的,获取当前所述发送端的发送速率及所述发送端与上述交换机之间的链路速率和链路利用率,得到当前发送速率Vo(t)、当前链路速率linerate和上述当前链路利用率lu,然后利用上述当前发送速率Vo(t)、上述当前链路速率linerate和上述当前链路利用率lu便可以计算出用于对上述发送端的当前发送速率进行增速的目标速度。
其中,所述目标速度的Vi(t)计算公式为:
Vi(t)=Vo(t)×lu+linerte×(1-lu)。
需要指出的是,当链路利用率lu较大时,说明链路中的数据包比较多,链路已经得到了充分的利用,线路速率的占比小于Vo(t),因此当前发送端的发送速率可以在原来的基础上小幅度提高;而当路利用率lu较小时,说明链路还没有得到充分的利用,此时可以大幅度的提高发送速率,通过提高链路速率的占比可以把发送速率快速的提高到靠近链路速率。通过上述调节发送端的发送速率,可以使发送端的当前发送速率和链路速率之间保持动态平衡。当链路利用率低时发送速率就提高的多一些,当链路利用率高时发送速率就提高的少一些,从而充分的利用了链路带宽。
其中,关于上述步骤S22、S27更加具体的处理过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
相对于传统的通过阈值来检测拥塞的方式,本申请提出的数据中心无损网络拥塞控制方案通过INT获取拥塞信息,并用队列变化率和链路利用率来判断交换机是否发生拥塞,在现有的商用交换机上便可以实现,使得本方案在无损网络的拥塞控制中有绝对的优势;而且,本方案是通过交换机将拥塞信息传递回发送端,而其它的拥塞控制机制是从接收端返回拥塞信息,因此本方案时延更小,调速更快;另外,由于发送端已经获取了网络的关键负载信息,因此不需要采用多轮试探的方式提高发送速率,而是迅速的将发送速率提高到合适的值,因此本方案能及时利用有效带宽,避免触发PFC。
相应的,本申请实施例还公开了一种数据中心无损网络拥塞控制装置,参见图4所示,该装置包括:
拥塞判断模块11,用于当交换机获取到发送端发送的数据包时,判断所述交换机是否发生了拥塞;
拥塞信息获取模块12,用于如果所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息;
反馈模块13,用于通过所述交换机将所述当前拥塞信息反馈至所述发送端;
队列长度判断模块14,用于通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零;
降速模块15,用于如果所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理;
增速模块16,用于如果所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理。
其中,关于上述各个模块的具体工作流程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
可见,本申请实施例中,当交换机获取到发送端发送的数据包时,先判断所述交换机是否发生了拥塞,如果所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息,并通过所述交换机将所述当前拥塞信息反馈至所述发送端,接着通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零,如果所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理,如果所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理。本申请实施例通过带内网络遥测技术能够获取交换机准确的拥塞信息,并通过交换机直接将拥塞信息反馈至发送端进行调速,无需通过接收端对拥塞信息进行转发,能够及时的反馈拥塞信号,减少反馈延迟,使数据中心无损网络满足高吞吐、低延迟的需求。
在一些具体实施例中,所述拥塞判断模块11,具体可以包括:
第一信息获取单元,用于获取所述交换机的当前队列长度、当前队列变化率和当前链路利用率;
第一判断单元,用于判断所述当前队列长度是否大于零;
第二判断单元,用于如果所述当前队列长度大于零,则判断所述当前队列变化率是否大于等于零并且所述当前链路利用率大于等于预设阈值;
第一拥塞判定单元,用于如果所述当前队列变化率大于等于零并且所述当前链路利用率大于等于所述预设阈值,则判定所述交换机发生了拥塞。
在一些具体实施例中,所述第二判断单元之后,还可以包括:
队列变化率计算单元,用于如果所述当前队列变化率小于零或所述当前链路利用率小于所述预设阈值,则计算预设时间后的所述交换机的队列变化率,得到最新队列变化率;
第三判断单元,用于判断所述最新队列变化率是否小于零并且所述当前链路利用率小于所述预设阈值;
第二拥塞判定单元,用于如果所述最新队列变化率小于零并且所述当前链路利用率小于所述预设阈值则判定所述交换机未发生拥塞;
第三拥塞判定单元,用于如果所述最新队列变化率大于等于零或所述当前链路利用率大于等于所述预设阈值则判定所述交换机发生了拥塞。
在一些具体实施例中,所述第二拥塞判定单元之后,还可以包括:
第二信息获取单元,用于按照预设的时间间隔获取所述发送端与所述交换机之间的链路信息和所述交换机的状态信息;
信息发送单元,用于将所述链路信息和所述状态信息发送至所述发送端。
在一些具体实施例中,所述降速模块15,具体可以包括:
第四判断单元,用于判断所述当前拥塞信息中携带的所述最新队列变化率是否大于零;
第一降速单元,用于如果所述当前拥塞信息中携带的所述最新队列变化率大于零,则按照所述发送端的最大发送速率对所述发送端的当前发送速率进行降速处理;
第二降速单元,用于如果所述当前拥塞信息中携带的所述最新队列变化率不大于零,则按照所述发送端的最小发送速率对所述发送端的当前发送速率进行降速处理。
在一些具体实施例中,所述增速模块16,具体可以包括:
第三信息获取单元,用于获取当前所述发送端的发送速率及所述发送端与所述交换机之间的链路速率和链路利用率,得到当前发送速率、当前链路速率和所述当前链路利用率;
速度计算单元,用于利用所述当前发送速率、所述当前链路速率和所述当前链路利用率计算用于对所述发送端的所述当前发送速率进行增速的目标速度。
在一些具体实施例中,所述反馈模块13,具体可以包括:
拥塞信息反馈单元,用于通过所述交换机中的通信网络处理器将所述当前拥塞信息反馈至所述发送端。
进一步的,本申请实施例还公开了一种电子设备,图5是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的数据中心无损网络拥塞控制方法中的相关步骤。另外,本实施例中的电子设备20具体可以为电子计算机。
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222等,存储方式可以是短暂存储或者永久存储。
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据中心无损网络拥塞控制方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的,本申请还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的数据中心无损网络拥塞控制方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种数据中心无损网络拥塞控制方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种数据中心无损网络拥塞控制方法,其特征在于,包括:
当交换机获取到发送端发送的数据包时,判断所述交换机是否发生了拥塞;
若所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息,并通过所述交换机将所述当前拥塞信息反馈至所述发送端;
通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零;
若所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理,若所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理;
其中,所述对所述发送端的当前发送速率进行增速处理,包括:获取当前所述发送端的发送速率及所述发送端与所述交换机之间的链路速率和链路利用率,得到当前发送速率、当前链路速率和所述当前链路利用率;利用所述当前发送速率、所述当前链路速率和所述当前链路利用率计算用于对所述发送端的所述当前发送速率进行增速的目标速度;所述目标速度的计算公式为:
Vi(t)=Vo(t)×lu+linerte×(1-lu);
式中,Vi(t)为所述目标速度,Vo(t)为所述当前发送速率,linerate为所述当前链路速率,lu为所述当前链路利用率。
2.根据权利要求1所述的数据中心无损网络拥塞控制方法,其特征在于,所述判断所述交换机是否发生了拥塞,包括:
获取所述交换机的当前队列长度、当前队列变化率和当前链路利用率;
判断所述当前队列长度是否大于零,若是则判断所述当前队列变化率是否大于等于零并且所述当前链路利用率大于等于预设阈值;
若所述当前队列变化率大于等于零并且所述当前链路利用率大于等于所述预设阈值,则判定所述交换机发生了拥塞。
3.根据权利要求2所述的数据中心无损网络拥塞控制方法,其特征在于,所述判断所述当前队列变化率是否大于等于零并且所述当前链路利用率大于等于预设阈值之后,还包括:
若所述当前队列变化率小于零或所述当前链路利用率小于所述预设阈值,则计算预设时间后的所述交换机的队列变化率,得到最新队列变化率;
判断所述最新队列变化率是否小于零并且所述当前链路利用率小于所述预设阈值;
若所述最新队列变化率小于零并且所述当前链路利用率小于所述预设阈值则判定所述交换机未发生拥塞,若所述最新队列变化率大于等于零或所述当前链路利用率大于等于所述预设阈值则判定所述交换机发生了拥塞。
4.根据权利要求3所述的数据中心无损网络拥塞控制方法,其特征在于,所述判定所述交换机未发生拥塞之后,还包括:
按照预设的时间间隔获取所述发送端与所述交换机之间的链路信息和所述交换机的状态信息,并将所述链路信息和所述状态信息发送至所述发送端。
5.根据权利要求4所述的数据中心无损网络拥塞控制方法,其特征在于,所述对所述发送端的当前发送速率进行降速处理,包括:
判断所述当前拥塞信息中携带的所述最新队列变化率是否大于零,若是则按照所述发送端的最大发送速率对所述发送端的当前发送速率进行降速处理,若否则按照所述发送端的最小发送速率对所述发送端的当前发送速率进行降速处理。
6.根据权利要求1至5任一项所述的数据中心无损网络拥塞控制方法,其特征在于,所述通过所述交换机将所述当前拥塞信息反馈至所述发送端,包括:
通过所述交换机中的通信网络处理器将所述当前拥塞信息反馈至所述发送端。
7.一种数据中心无损网络拥塞控制装置,其特征在于,包括:
拥塞判断模块,用于当交换机获取到发送端发送的数据包时,判断所述交换机是否发生了拥塞;
拥塞信息获取模块,用于如果所述交换机发生了拥塞,则利用带内网络遥测技术对所述交换机当前的拥塞信息进行获取,得到当前拥塞信息;
反馈模块,用于通过所述交换机将所述当前拥塞信息反馈至所述发送端;
队列长度判断模块,用于通过所述发送端判断所述当前拥塞信息中携带的所述交换机的当前队列长度是否大于零;
降速模块,用于如果所述当前队列长度大于零则对所述发送端的当前发送速率进行降速处理;
增速模块,用于如果所述当前队列长度不大于零则对所述发送端的当前发送速率进行增速处理;
其中,所述增速模块,具体用于获取当前所述发送端的发送速率及所述发送端与所述交换机之间的链路速率和链路利用率,得到当前发送速率、当前链路速率和所述当前链路利用率;利用所述当前发送速率、所述当前链路速率和所述当前链路利用率计算用于对所述发送端的所述当前发送速率进行增速的目标速度;所述目标速度的计算公式为:
Vi(t)=Vo(t)×lu+linerte×(1-lu);
式中,Vi(t)为所述目标速度,Vo(t)为所述当前发送速率,linerate为所述当前链路速率,lu为所述当前链路利用率。
8.一种电子设备,其特征在于,包括处理器和存储器;其中,所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至6任一项所述的数据中心无损网络拥塞控制方法。
9.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据中心无损网络拥塞控制方法。
CN202211150477.9A 2022-09-21 2022-09-21 一种数据中心无损网络拥塞控制方法、装置、设备及介质 Active CN115460156B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211150477.9A CN115460156B (zh) 2022-09-21 2022-09-21 一种数据中心无损网络拥塞控制方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211150477.9A CN115460156B (zh) 2022-09-21 2022-09-21 一种数据中心无损网络拥塞控制方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115460156A CN115460156A (zh) 2022-12-09
CN115460156B true CN115460156B (zh) 2024-02-02

Family

ID=84304620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211150477.9A Active CN115460156B (zh) 2022-09-21 2022-09-21 一种数据中心无损网络拥塞控制方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115460156B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116886622B (zh) * 2023-09-08 2023-11-24 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 网络拥塞控制方法、装置、设备及存储介质
CN116915706B (zh) * 2023-09-13 2023-12-26 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 数据中心网络拥塞控制方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207570A (zh) * 2007-11-26 2008-06-25 上海华为技术有限公司 数据传输方法、数据发送速率控制方法及基站
CN101582852A (zh) * 2009-06-10 2009-11-18 中兴通讯股份有限公司 一种网络拥塞管理的方法及系统
CN108540395A (zh) * 2018-04-18 2018-09-14 清华大学 无丢失网络中的拥塞判断方法
CN108718283A (zh) * 2018-05-03 2018-10-30 电子科技大学 数据中心网络中集中式端网协调的tcp拥塞控制方法
CN108768880A (zh) * 2018-05-29 2018-11-06 华东师范大学 一种sdn环境下基于调节通告窗口方法的拥塞控制机制
CN111385216A (zh) * 2018-12-29 2020-07-07 中兴通讯股份有限公司 基于pfc帧的拥塞控制方法、装置、系统及存储介质
CN111756641A (zh) * 2019-03-28 2020-10-09 华为技术有限公司 一种发送设备的调整方法和通信装置
CN112866137A (zh) * 2020-12-31 2021-05-28 中国科学院计算机网络信息中心 一种基于不同发包方式的拥塞算法的数据传输控制方法
CN113055935A (zh) * 2019-12-26 2021-06-29 华为技术有限公司 一种拥塞控制方法、设备和系统
CN114938350A (zh) * 2022-06-15 2022-08-23 长沙理工大学 数据中心无损网络中基于拥塞反馈的数据流传输控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210036942A1 (en) * 2019-08-02 2021-02-04 Dell Products, Lp Systems and methods for identifying persistently congested queues
US20220103479A1 (en) * 2021-12-08 2022-03-31 Intel Corporation Transmit rate based on detected available bandwidth

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101207570A (zh) * 2007-11-26 2008-06-25 上海华为技术有限公司 数据传输方法、数据发送速率控制方法及基站
CN101582852A (zh) * 2009-06-10 2009-11-18 中兴通讯股份有限公司 一种网络拥塞管理的方法及系统
CN108540395A (zh) * 2018-04-18 2018-09-14 清华大学 无丢失网络中的拥塞判断方法
CN108718283A (zh) * 2018-05-03 2018-10-30 电子科技大学 数据中心网络中集中式端网协调的tcp拥塞控制方法
CN108768880A (zh) * 2018-05-29 2018-11-06 华东师范大学 一种sdn环境下基于调节通告窗口方法的拥塞控制机制
CN111385216A (zh) * 2018-12-29 2020-07-07 中兴通讯股份有限公司 基于pfc帧的拥塞控制方法、装置、系统及存储介质
CN111756641A (zh) * 2019-03-28 2020-10-09 华为技术有限公司 一种发送设备的调整方法和通信装置
CN113055935A (zh) * 2019-12-26 2021-06-29 华为技术有限公司 一种拥塞控制方法、设备和系统
CN112866137A (zh) * 2020-12-31 2021-05-28 中国科学院计算机网络信息中心 一种基于不同发包方式的拥塞算法的数据传输控制方法
CN114938350A (zh) * 2022-06-15 2022-08-23 长沙理工大学 数据中心无损网络中基于拥塞反馈的数据流传输控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"HPCC:High Precision Congestion Control";LiYuanliang等;《ACM》;全文 *
"数据中心网络传输协议综述";曾高雄;胡水海;张骏雪;陈凯;;《计算机研究与发展》(01);全文 *
"高性能计算网络的拥塞控制技术研究";马天阳;《CNKI》;正文第2.1.4、3.2节 *

Also Published As

Publication number Publication date
CN115460156A (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN115460156B (zh) 一种数据中心无损网络拥塞控制方法、装置、设备及介质
US6839767B1 (en) Admission control for aggregate data flows based on a threshold adjusted according to the frequency of traffic congestion notification
Yaghmaee et al. A new priority based congestion control protocol for wireless multimedia sensor networks
Feng et al. Maintaining end-to-end throughput in a differentiated-services Internet
US6894974B1 (en) Method, apparatus, media, and signals for controlling packet transmission rate from a packet source
US8873385B2 (en) Incast congestion control in a network
Feng et al. Understanding and improving TCP performance over networks with minimum rate guarantees
Zhu et al. NADA: A unified congestion control scheme for low-latency interactive video
JP2009055327A (ja) ネットワークシステム
CN113746748B (zh) 一种命名数据网络中显式拥塞控制方法
Rozhnova et al. An extended hop-by-hop interest shaping mechanism for content-centric networking
Zhang et al. Fair quantized congestion notification in data center networks
JPH1093624A (ja) パケット伝送ネットワーク
Sisalem et al. Towards TCP-friendly adaptive multimedia applications based on RTP
Mliki et al. A comprehensive survey on carrier ethernet congestion management mechanism
Albuquerque et al. Network border patrol: Preventing congestion collapse and promoting fairness in the internet
Abu et al. Leveraging the pending interest table occupancy for congestion control in CCN
Na et al. TCP-like flow control algorithm for real-time applications
Socrates et al. Congestion control for packet switched networks: A survey
Santhi et al. Active Queue Management Algorithm for TCP Networks Congestion Control
Shy et al. Router active queue management for both multimedia and best-effort traffic flows
Fang et al. Differentiated congestion management of data traffic for data center ethernet
Kumhar Performance Analysis of AQM Algorithms in Network Congestion Control.
Lie et al. On the use of classical control system based AQM for rate adaptive streaming media
Hong et al. Using interval phase margin assignment to self-tune a PI AQM controller for TCP traffic

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant