CN105144627B - 操作网络节点以负载均衡的技术 - Google Patents

操作网络节点以负载均衡的技术 Download PDF

Info

Publication number
CN105144627B
CN105144627B CN201380075935.XA CN201380075935A CN105144627B CN 105144627 B CN105144627 B CN 105144627B CN 201380075935 A CN201380075935 A CN 201380075935A CN 105144627 B CN105144627 B CN 105144627B
Authority
CN
China
Prior art keywords
network node
load balancing
data grouping
address
downstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380075935.XA
Other languages
English (en)
Other versions
CN105144627A (zh
Inventor
巴拉日·彼得·杰罗
巴斯卡拉·金尼
安德雷斯·卡撒斯扎
斯里加内什·基尼
安德鲁·威尔金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN105144627A publication Critical patent/CN105144627A/zh
Application granted granted Critical
Publication of CN105144627B publication Critical patent/CN105144627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/22Alternate routing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/24Multipath
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/50Routing or path finding of packets in data switching networks using label swapping, e.g. multi-protocol label switch [MPLS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/18Loop-free operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

根据本公开的一方面,提供了一种操作通信网络的网络节点的方法,所述网络节点与下游网络节点连接并与非下游无环路备选(LFA)网络节点连接。所述方法包括:在网络节点处接收包括负载均衡标识符的数据分组,所述负载均衡标识符指示是否允许经由非下游LFA网络节点对数据分组进行负载均衡;如果负载均衡标识符指示允许经由非下游LFA网络节点对数据分组进行负载均衡,并且如果网络节点决定经由非下游LFA网络节点对数据分组进行负载均衡,则改变数据分组的负载均衡标识符,使得它指示不允许经由另一非下游LFA网络节点对数据分组进行另一负载均衡;并向非下游LFA网络节点转发这样修改的数据分组。

Description

操作网络节点以负载均衡的技术
技术领域
本公开涉及结合负载均衡来操作通信网络的网络节点的技术。可以用方法、计算机程序产品或网络节点的形式来实现该技术。
背景技术
在多协议标签交换(MPLS)通信网络中,数据分组从一个路由器行进至下一个路由器,其中每个路由器做出独立的数据分组转发决定。即,每个路由器分析数据分组的头部,并且每个路由器运行网络层路由算法。每个路由器基于它对数据分组头部的分析和路由算法来独立地选择数据分组的下一跳(下一个路由器)。
为了选择下一跳,路由器可以确定数据分组属于哪个转发等价类(FEC)。然后,路由器将FEC映射到下一跳。就转发决定而言,映射到同一FEC的不同数据分组是无法区分的。也就是说,属于特定FEC的并且从公共网络节点发出的所有数据分组将遵循同一路径通过通信网络(或者如果在使用特定类型的多路径路由,则它们都将遵循与FEC相关联的一组路径之一)。
在传统互联网协议(IP)转发中,当数据分组穿过网络时,每个路由器重新检查数据分组的路由数据(通常包括在数据分组的头部中)并将其指派给FEC。相反,在MPLS通信网络中,特定数据分组向特定FEC的指派通常仅当分组进入MPLS通信网络时完成一次。向其指派数据分组的FEC被编码为短固定长度值(称为“标签”)并被包括在数据分组的头部中。因此,当数据分组被转发到它的下一跳时,与数据分组一同发送标签;也就是说在转发数据分组之前对数据分组“加标签”。在后续路由器处,不存在对数据分组的头部的进一步分析。相反,标签被用作指定下一跳的索引和新标签。用新标签来替换旧标签,并将分组转发给它的下一跳。也就是说,在MPLS转发中,一旦将数据分组指派给FEC,则不通过后续路由器来完成进一步的头部分析(即,通过标签来驱动所有转发,其中标签本身代表FEC)。
MPLS通信网络与传统网络相比具有多个优点:首先,能够通过低性能路由器(“交换机”)来完成MPLS转发,所述低性能路由器(“交换机”)能够完成标签查找和替换,但是不需要能够分析数据分组的头部,或者至少不需要能够以足够的速度分析头部。
其次,由于在数据分组进入网络处的路由器(入口路由器)处向FEC指派数据分组,即使不能从数据分组的头部导出信息,入口路由器在确定指派时也可以使用与数据分许有关的任意信息。例如,到达入口路由器的不同端口的数据分组可以被指派给不同的FEC。另一方面,传统转发会仅考虑包括在数据分组头部中的信息。
第三,可以对在特定路由器处进入通信网络的数据分组与在不同路由器处进入网络的同一分组进行不同地标记,并且因此能够轻易地做出取决于入口路由器的转发决定。此外,确定如何向FEC指派数据分组的过程可能是复杂的,原因在于这些过程只需要在入口路由器处执行一次。仅转发加标签的数据分组的其他路由器不需要执行这些过程。
如果要通过通信网络从第一路由器向第二路由器路由的数据分组量超过了特定阈值,则经由多条路径而不是经由单个路径来从第一路由器向第二路由器路由数据分组以充分均衡数据分组的负载(“负载均衡”)可能是有利的。然而,IP/MPLS网络不支持在所有类型的通信网络拓扑中适用的数据分组的自身负载均衡。具体地,IP/MPLS通信网络不支持在包括环形拓扑的聚合/回程网络拓扑中的数据分组的负载均衡。
发明内容
希望提供一种在任意网络拓扑中(具体地在IP/MPLS通信网络的任意拓扑中)适用的负载均衡机制。
根据本公开的一方面,提供了一种操作通信网络的网络节点的方法,所述网络节点与下游网络节点连接并与非下游无环路备选(LFA)网络节点连接。所述方法包括:在网络节点处接收包括负载均衡标识符的数据分组,所述负载均衡标识符指示是否允许经由非下游LFA网络节点对数据分组进行负载均衡;如果负载均衡标识符指示允许经由非下游LFA网络节点对数据分组进行负载均衡,并且如果网络节点决定经由非下游LFA网络节点对数据分组进行负载均衡,则改变数据分组的负载均衡标识符,使得它指示不允许经由另一非下游LFA网络节点对数据分组进行另一负载均衡;以及向非下游LFA网络节点转发这样修改的数据分组。下游网络节点可以是LFA或“正常”网络节点。
在该方面的一种实现中,经由非下游LFA网络节点(其可以被称为远程LFA)的路由跳数可能是有限的。有时这是需要的,原因在于在非下游LFA网络节点上的路由跳期间,数据分组没有接近目的网络节点(以特定度量)。因此,使用多个非下游LFA网络节点可以导致数据分组在通信网络内的永久环回,这是要避免的。因此,该方法还可以在具有环形拓扑的通信网络上工作,在环形拓扑中,其间具有相连的多个等开销路径的入口/出口节点对的数量较低,并且下游LFA也不可用。
在本公开的示例的上下文中,关于特定网络节点的“LFA网络节点”在一种变形中可以意味着不是特定网络节点的直接相邻网络节点的网络节点。从LFA网络节点到目的网络节点的最短路径不会通过特定网络节点返回。用这种方式,不允许数据分组从LFA网络节点发送回特定网络节点(原因在于LFA网络节点通常目的是经由最短路径向目的网络节点发送数据分组)。
如果所述负载均衡标识符指示不允许经由非下游LFA网络节点对数据分组进行负载均衡,则网络节点可以向下游网络节点(例如向下游LFA网络节点或向与目的网络节点的最短路径连接的下一跳)转发数据分组。然而,根据一种实施方式,即使负载均衡标识符指示不允许经由非下游LFA网络节点对数据分组进行负载均衡,然而在通信网络中发生了将不利地影响或妨碍向下游网络节点转发数据分组的故障的情况下,网络节点也可以向非下游LFA网络节点(或不同的非下游LFA网络节点)转发数据分组。备选地,如果负载均衡标识符指示不允许经由非下游LFA网络节点对数据分组进行负载均衡,并且如果已经在通信网络中发生了将不利地影响或禁止向下游网络节点转发数据分组的故障,则还可以丢弃数据分组。
通信网络可以是MPLS通信网络,并且网络节点可以是标签交换路由器(LSR)。然而,本公开不限于此。本公开的变形可以例如还适用于“纯粹的”IP通信系统(其没有MPLS功能)。在这种情况下,可以通过附加功能来扩展标准IP功能。
数据分组可以包括标签,所述标签包括负载均衡标识符和数据分组目的IP地址。如果负载均衡标识符指示允许经由非下游LFA网络节点对数据分组进行负载均衡,则网络节点可以将数据分组视为属于第一转发等价类(FEC),并且如果负载均衡标识符指示不允许经由非下游LFA网络节点对数据分组进行负载均衡,则网络节点可以将数据分组视为属于第二FEC。用这种方式,能够使用用于处理属于不同FEC的数据分组的标准功能来执行负载均衡(即改变负载均衡标识符和转发数据分组)。
在网络节点处接收数据分组之前,所述网络节点可以针对与可达目的网络节点相对应的至少一个IP目的地址分配第一标签和第二标签,其中第一标签包括IP目的地址和指示允许经由非下游LFA网络节点对数据分组进行负载均衡的负载均衡标识符,并且第二标签包括IP目的地址和指示不允许经由非下游LFA网络节点对数据分组进行负载均衡的负载均衡标识符。然后,网络节点可以向邻居网络节点传送第一标签和第二标签(“标签分发协议(LDP)消息”)。
所述目的IP地址和负载均衡标识符可以一起形成多拓扑互联网协议(MT IP)地址。
在网络节点中存储的路由信息对于第一FEC和第二FEC二者可以相同(但不必须相同),网络节点根据所述在网络节点中存储的路由信息来转发数据分组。
在网络节点处接收数据分组之前,网络节点可以执行以下过程:基于网络节点中存储的路由信息,确定下一跳标签转发条目(NHLFE)的集合,所述NHLFE的集合被指派给目的IP地址和指示数据分组属于第一FEC的负载均衡标识符;以及向所述NHLFE的集合添加新NHLFE,所述新NHLFE包括作为下一跳的非下游LFA网络节点的IP地址,其中新NHLFE包括以下指令:交换数据分组的标签,使得负载均衡标识符指示数据分组属于第二FEC。在针对负载均衡的网络节点多个非下游LFA网络节点可用的情况下,可以向所述NHLFE的集合添加多个新NHLFE,每个新NHLFE包括作为下一跳的非下游LFA网络节点中的一个的IP地址,其中新NHLFE包括以下指令:交换数据分组的标签,使得负载均衡标识符指示数据分组属于第二FEC。
如果非下游LFA网络节点不是网络节点的直接邻居(远程非下游LFA网络节点),则将已在网络节点处从位于网络节点和非下游LFA网络节点之间的邻居网络接收到的附加标签(“外部标签”)附至(“推至”)数据分组,其中附加标签包括数据分组目的IP地址(与非下游LFA网络节点的相对应)和指示不允许经由非下游LFA网络节点对数据分组进行负载均衡的负载均衡标识符(外部标签可以与(远程)LFA节点的MT-IP地址结合,因此用这种方式在标签中对远程LFA节点的IP地址编码,但是IP地址本身不在数据分组中)。
通常,作为第一选项(IP/MPLS选项),IP地址可能不位于数据分组的头部中,但是标签标识目的网络节点。作为第二选项,IP地址可以显式地位于数据分组的头部中(纯IP选项)。
可以向邻居网络节点转发数据分组。在特定变形中,附加标签的推送具有以下效果:防止数据分组被发送回网络节点,并防止数据分组被发送至不是下游LFA网络节点的网络节点(通过邻居网络节点“隧道传输”数据分组)。通过隧道传输,可以确保在特定节点和远程LFA之间的中间网络节点不将数据分组路由回到特定网络节点。另一方面,通过选择一个网络节点作为远程LFA网络节点,该网络节点本身根据定义具有LFA网络节点所需的所有属性,能够确保LFA网络节点自身将不把数据分组路由回到特定节点。
根据本公开的另一方面,提供了一种操作MPLS通信网络的网络节点的方法。所述方法包括:如果要启用经由非下游LFA网络节点对网络节点和目的网络节点之间的数据分组的负载均衡,则生成第一MT IP地址,第一多拓扑互联网协议MT IP地址包括目的网络节点的目的IP地址和代表数据分组的第一FEC的负载均衡标识符,以及生成第二MT IP,第二MT IP包括目的网络节点的目的IP地址和代表数据分组的第二FEC的负载均衡标识符。所述方法还包括:触发生成以第一MT IP地址作为输入参数的LDP,并触发生成以第二MT IP地址作为输入参数的LDP消息,使得邻居网络节点接收LDP消息。
可以由网络节点生成LDP消息,使得针对第一FEC和第二FEC二者,另一网络节点基于其向目的网络节点路由数据分组的路由信息相同。
根据另一方面,提供了一种计算机程序产品,包括程序代码部分,当在一个或更多个计算设备上执行计算机程序产品时,所述程序代码用于执行本发明的任意一个实施例所述的步骤。计算机程序产品可以在计算机可读介质上存储。
根据另一方面,提供了一种通信网络的网络节点,所述网络节点可以与LFA网络节点连接并与非下游LFA网络节点连接。网络节点包括:接收单元,被配置为:接收包括负载均衡标识符的数据分组,所述负载均衡标识符指示是否允许经由非下游LFA网络节点对数据分组进行负载均衡。网络节点还包括:处理单元,与接收单元连接并被配置为:如果负载均衡标识符指示允许经由非下游LFA网络节点对数据分组进行负载均衡,并且如果网络节点决定经由非下游LFA网络节点对数据分组进行负载均衡,则改变数据分组的负载均衡标识符,使得它指示不允许经由另一非下游LFA网络节点对数据分组进行另一负载均衡。此外,网络节点包括:转发单元,与处理单元连接并被配置为向非下游LFA网络节点转发这样修改的数据分组。
根据另一方面,提供了一种MPLS通信网络的网络节点,其包括:生成单元,被配置为:如果要启用经由非下游LFA网络节点对网络节点和目的网络节点之间的数据分组的负载均衡,则生成第一MT IP地址,第一多拓扑互联网协议MT IP地址包括目的网络节点的目的IP地址和代表数据分组的第一FEC的负载均衡标识符,以及生成第二MT IP,第二MT IP包括目的网络节点的目的IP地址和代表数据分组的第二FEC的负载均衡标识符。网络分组还包括:触发单元,与生成单元相连,并被配置为:触发生成以第一MT IP地址作为输入参数的LDP,以及触发生成以第二MT IP地址作为输入参数的LDP消息,使得邻居网络节点接收LDP消息。
上述方面可以使网络节点能够在到目的网络节点的最短路径与一个或若干非下游LFA网络节点之间进行负载均衡,所述一个或若干非下游LFA网络节点可以是远程LFA节点。为了实现这一点,可以引入网络内部IP地址的两种新的FEC类型。FEC之一允许经由非下游(可能地远程)LFA网络节点进行负载均衡,并且另一FEC禁止经由非下游(可能地远程)LFA网络节点进行负载均衡。
当入口路由器将标签推至数据分组时(即当首次将标签附至数据分组时),标签可以与允许经由非下游(远程)LFA网络节点进行负载均衡的FEC相对应。如果后续路由器或入口路由器本身决定经由非下游(可能地远程)LFA网络节点进行负载均衡,则它们交换数据分组的标签,使得传出标签与禁止经由非下游(远程)LFA网络节点进行进一步负载均衡的FEC相对应。
附图说明
以下,将参照在附图中说明的示例实施例更详细地描述本公开,附图中:
图1示出了示例MPLS通信网络的示意图;
图2示出了根据本发明的实施例的网络节点的示意图;
图3示出了根据实施例的网络节点的示意图;
图4示出了根据实施例的操作网络节点的方法的示意流程图;
图5示出了根据实施例的操作网络节点的方法的示意流程图;
图6a,b示出了根据实施例的操作网络节点的方法的示意流程图;
图7示出了根据实施例的操作网络节点的方法的示意流程图;
图8示出了根据实施例的MPLS通信网络的示意图;以及
图9示出了具有环形拓扑的示例MPLS通信网络的示意图。
具体实施方式
在以下说明中,为了解释而非限制的目的,阐述了具体细节(例如特定设备和系统配置和特定方法、步骤和功能)以提供对这里呈现的技术的透彻理解。将理解的是可以在离开这些具体细节的其他实施例中实践该技术。
本领域技术人员将进一步理解的是,可以使用单独的硬件电路、使用软件功能结合程序微处理器或通常目的的计算机、使用一个或更多个专用集成电路(ASIC)、一个或更多个数字信号处理器(DSP)和/或一个或更多个现场可编程门阵列(FPGA)来实现本文描述的方法、步骤和功能。还将理解的是,可以用处理器和与处理器耦合的存储器实现本文公开的技术,其中存储器存储当由处理器执行时执行本文所描述的方法、步骤和功能的一个或更多个程序。
关于以下实施例,相同的参考符号用于标记相同或类似的组件。
首先,参照图9,将通过非限制性示例的方式来解释术语LFA通信节点和远程LFA通信节点的含义。图9示出了具有环形拓扑的通信网络。网络节点(路由器)F到网络节点D的最短路径下一跳是经由网络节点E。网络节点G到网络节点D的最短路径下一跳是经由网络节点F。网络节点G不是网络节点F到网络节点D的LFA,原因在于假设网络节点F将经由网络节点G向网络节点D发送数据分组,则将存在环路。这意味着网络节点F不具有向网络节点D的直接LFA。但是网络节点A到网络节点D的最短路径不经由网络节点F,这意味着网络节点F不具有到网络节点D的直接LFA。但是网络节点A到网络节点D的最短路径不经由网络节点F,所以网络节点A是网络节点F到网络节点D的远程LFA。
为了更好地理解实施例,将首先参照图1解释传统MPLS/IP通信网络100的架构。MPLS/IP通信网络100包括多个网络节点(以下称为路由器)102,多个网络节点102经由通信链路104彼此相连。在图1中,示出了经由通过MPLS/IP通信网络100并且包括路由器102A、102B、102C和102D的通信路径,从与MPLS/IP通信网络100连接的第一通信设备108向与MPLS/IP通信网络100连接的第二通信设备发送数据分组106的情况。数据分组106从路由器102A行进至路由器102D。每个路由器102分析数据分组106的头部并基于它对数据分组106的头部的分析和每个路由器102中所存储的路由算法来选择数据分组106的下一跳(下一个路由器)。这里,假设基于路由器102的决定,数据分组按该顺序沿着路由器102A、102B、102C和102D行进。
为了选择下一跳,路由器102确定数据分组106属于哪个FEC。然后,路由器102将FEC(以及因此数据分组106)映射到下一跳。数据分组102向相应FEC的指派仅完成一次(当数据分组106进入MPLS/IP通信网络100时在路由器102A(入口路由器)处)。数据分组向其指派的FEC被编码为FEC标识符(例如作为短固定长度值),所述FEC标识符被称为“标签112”并被包括在数据分组102的头部中。因此,当从路由器102A向它的下一跳(是路由器102B)转发数据分组106时,伴随数据分组106一起发送标签112A。在路由器102B处,不再执行对数据分组106的头部的分析。相反,标签112A单独直接用作指定下一跳的FEC的表示(即,通过标签来驱动所有转发)。此外,在路由器102B处用新标签112B来替换标签I 12A(即,包括在接收到的数据分组106中的标签),并然后可以向它的下一跳转发修改后的数据分组106。
假设数据分组106刚刚到达路由器102B。如果例如通信链路104B超载,则例如将数据分组从路由器102B经由通信链路104D路由至路由器102E而不是路由至路由器102C可能是合理的。数据分组然后可以从路由器102E处经由路由器102F(经由通信链路104E、104F或经由通信链路104E、104G、104C)或经由路由器102C(经由通信链路104H、104C)路由至路由器102D。取决于通信链路104的负载、经由备选通信路径的数据分组106的重新路由被称为负载均衡。由于通信链路104的故障,数据分组106的重新路由还可能是必要的。然而,在MPLS/IP通信网络100中,为了应用负载均衡,没有标准功能可用。
为了使MPLS/IP通信网络100能够应用负载均衡,路由器102可以被配置为图2的实施例中所示的那样。在图2中,示出了路由器102’,路由器102’可以与下游路由器连接并与MPLS/IP通信网络100的非下游LFA路由器连接。路由器102’包括接收单元200,接收单元200与MPLS/IP通信网络100连接并被配置为接收包括负载均衡标识符的数据分组106,所述负载均衡标识符指示是否允许经由非下游LFA网络节点来对数据分组106进行负载均衡。网络节点还包括处理单元202,处理单元202与接收单元200连接并被配置为:如果负载均衡标识符指示允许经由非下游LFA网络节点来对数据分组106进行负载均衡,并且如果路由器102’决定经由非下游LFA网络节点来对数据分组106进行负载均衡,则改变数据分组106的负载均衡标识符,使得数据分组106的负载均衡的标识符指示不与允许经由另一非下游LFA网络节点对数据分组106进行另一负载均衡。此外,网络节点包转发单元204,转发单元204与处理单元202和MPLS/IP通信网络100连接并被配置为向非下游LFA网络节点转发这样修改的数据分组106。负载均衡标识符是附接至数据分组106的标签112的一部分。
此外,为了使传统MPLS/IP通信网络100能够应用负载均衡,路由器102可以被配置为图3的实施例所示的那样。在图3中,示出了包括生成单元300的路由器102’,生成单元300被配置为:如果要使能经由非下游LFA网络节点的路由器102’与目的网络节点之间的数据分组的负载均衡,则生成第一MT IP地址,第一MT IP地址包括目的网络节点的IP地址和负载均衡标识符,负载均衡标识符代表数据分组的第一FEC;并被配置为生成第二MT IP,第二MT IP包括目的网络节点的目的IP地址和负载均衡标识符,负载均衡标识符代表数据分组的第二FEC。网络节点还包括触发单元302,触发单元302与生成单元300和MPLS/IP通信网络100连接并被配置为触发具有第一MTIP地址作为输入参数的LDP消息的生成,并触发具有第二MT IP地址作为输入参数的LDP消息的生成,使得路由器102’的邻居网络节点(路由器102’)接收LDP消息。
根据实施例,MPLS/IP通信网络100的所有路由器102’(参见图8)包括图3中所示的功能,并且MPLS/IP通信网络100的所有路由器102’的至少一部分附加地包括图2中所示的功能。
使用MPLS/IP通信网络100中图2和图3中描述的路由器的功能,能够执行图4和5中所示的方法实施例:
首先,执行图4中所示的步骤。在S1处,如果要使能经由非下游LFA网络节点在路由器102’和目的网络节点之间的数据分组的负载均衡,则在路由器102’中生成第一MT IP地址,第一MT IP地址包括目的网络节点的目的IP地址和代表数据分组的第一FEC的负载均衡标识符。此外,在路由器102’中生成第二MT IP,第二MT IP包括目的网络节点的目的IP地址和代表数据分组的第二FEC的负载均衡标识符。
在S2处,通过路由器102’触发具有第一MT IP地址作为输入参数的LDP消息的生成,以及通过路由器102’触发具有第二MT IP地址作为输入参数的LDP消息的生成。路由器102’向邻居网络节点(路由器102’)传送生成的LDP消息。
举例说明:在图8中假设目的网络节点是路由器102’D。这将意味着,例如在路由器102’E中执行以下步骤:在S1处,在路由器102’E中生成第一MT IP地址,第一MT IP地址包括目的网络节点102’D的目的IP地址和负载均衡标识符1,负载均衡标识符1代表数据分组的第一FEC。此外,在路由器102’E中生成第二MT IP,第二MT IP包括目的网络节点102’D的目的IP地址和负载均衡标识符0,负载均衡标识符0代表数据分组的第二FEC。在步骤S2,通过路由器102’E触发具有第一MT IP地址作为输入参数的LDP消息的生成,并通过路由器102’E触发具有第二MT IP地址作为输入参数的LDP消息的生成。路由器102’E向邻居网络节点(路由器102’A、102’B、102’C和102’F)传送生成的LDP消息。在图8中通过箭头800指示向邻居路由器102’(LDP消息传送)的LDP消息的分发。优选地全靠路由器102’完成步骤S1和S2,以当执行负载均衡时,使能最大灵活性(参见图5)。
图6a更详细地示出了该示例的可能实施例。假设在第一MT IP地址中,将负载均衡标识符设置为“1”(步骤S1a),以启用经由下游LFA网络节点进行负载均衡,并且在第二MTIP地址中,将负载均衡标识符设置为“0”(步骤S1b)以禁用经由非下游LFA网络节点进行负载均衡(图4中的步骤S1)。在图6a中通过步骤S2a(针对第一MT IP地址)和S2b(针对第二MTIP地址)来反映对LDP消息的生成和分发的触发(图4中的步骤S2)。也就是说,使用MT IP的语法来定义两种FEC类型。禁止经由非下游(远程)LFA进行负载均衡的FEC包括:MT-ID为0的MT IP地址,并且允许经由非下游(远程)LFA进行负载均衡的FEC包括MT-ID为1的MT IP地址。本发明不限于这些值。可以在节点中对要用于禁止或明确允许这种类型的负载均衡的MT ID进行一致性地预配置,或者可以对其进行标准化(IANA)。如图6a中所示,当IP可达性信息改变(条件“A”)时(即如果路由器102的IP地址变得可达/不可达),具体执行步骤S1a和S1b。可以例如通过在通信网络中使用的路由协议来检测可达性信息的改变。
由于仅允许标准LDP功能分发包含在FEC中的IP地址可达的标签,LDP必须检查在路由表中其分发标签的IP地址是否可达。通过图6b来反映该检查过程:图6b中的条件“B”指示LDP检查过程,该LDP检查过程在将相应的LDP消息传送给邻居路由器之前,确定在路由表中针对其分发标签的IP地址是否可达。在步骤S6处,LDP检查过程确定MT-ID是“0”还是“1”。如果是这种情况,参见S7,则LDP检查过程将它的决定基于IP目的地址在公共路由表(MT-ID“0”和MT-ID“1”共用的)上是否可达,参见S7。因此,单个路由表就足够了(即不必设置两个(针对每个所使用的MT-ID设置一个))。如果MT-ID不是“0”或“1”,则LDP检查过程将它的决定基于IP目的地址是否在指派给MT-ID的路由表上可达,,参见S8。也就是说,禁止和允许经由非下游(远程)LFA的FEC可以共享单个路由表(MT-ID 0的路由表)。这不一定意味着对于两个MT-ID需要单个路由表,重点是需要路由询问针对两个MT-ID均导致同一答案。例如,这还可以通过路由表的精确复制来解决。
其次,执行图5中所示的步骤(负载均衡)。在S3处,在路由器102’处接收数据分组,其包括负载均衡标识符,指示是否允许经由非下游网络LFA网络节点来对数据分组进行负载均衡。在S4处,如果负载均衡标识符指示允许经由非下游LFA网络节点来对数据分组进行负载均衡,并且如果路由器102’决定经由非下游LFA网络节点来对数据分组进行负载均衡,则改变数据分组的负载均衡标识符,使得指示不允许经由另一非下游LFA网络节点对数据负载进行另一负载均衡。在S5处,向非下游LFA网络节点转发这样修改的数据分组(更确切地:包括这样修改的数据分组的标签的数据分组)。可以使路由器102’的全部或仅一部分执行步骤S3至S5(负载均衡)。
举例说明:假设在图8中目的网络节点是路由器102’D,并且路由器102’B决定经由作为非下游路由器的路由器102’E进行负载均衡。这将意味着,如果在路由器102’B处接收到的数据分组包括负载均衡标识符“1”,负载均衡标识符“1”指示允许经由非下游LFA网络节点来对数据分组进行负载均衡,路由器102’B经由非下游LFA网络节点102’E发起数据分组的负载均衡。为了这样做,改变数据分组的负载均衡标识符“1”(改变为“0”),使得它指示不允许经由另一非下游LFA网络节点对数据分组进行另一负载均衡。在S5,包括相应的修改的标签的数据分组被转发给非下游LFA网络节点102’E。可以启用路由器102’的全部或仅一部分来执行步骤S3至S5(负载均衡)。
图7示出了可以如何事先配置路由器102’,以能够执行图5中所示的步骤S3至S5(即,图7示出了为了经由非下游LFA对于给定目的IP地址进行负载均衡,IP/MPLS路由器如何配置它们的MPLS数据路径结构)。配置在条件“C”处开始,条件“C”指示决定使用路由器102’针对目的IP进行负载均衡。在S9处,路由器102’确定向目的IP地址和负载均衡标识符1指派的NHLFE的集合。在S10处,向该NHLFE的集合添加新NHLFE,新NHLFE包括作为下一跳的非下游LFA网络节点的IP地址。此外,在S11,配置新NHLFE,使得它包括以下指令:交换数据分组的标签,使得负载均衡标识符指示数据分组属于第二FEC。例如,新NHLFE包括将负载均衡标识符号从“1”改变为“0”的指令。在S12处,路由器102’确定非下游LFA网络节点是否是远程网络节点(即,不是路由器102’的直接邻居)。如果是这样,则在S13处,将新NHLFE附加地配置为包括在负载均衡的情况下将附加标签推至数据分组的指令,即将另一标签(“外部标签”)附至数据分组的现有标签,这使数据分组能够“隧道”通过位于路由器102’和远程非下游LFA网络节点之间的路由器,以防止将数据分组从中间路由器发回到路由器102’。附加标签是针对具有远程LFA的IP地址和MT-ID“0”的MTIP FEC从远程LFA的IGP下一跳接收的。
在以上示例的上下文中,这将意味着在图8中路由器102’B确定向路由器102’D目的IP地址和负载均衡标识符1指派的NHLFE的集合。向该NHLFE的集合添加新NHLFE,新NHLFE包括作为下一跳的非下游LFA网络节点(路由器102’E)的IP地址。此外,配置新NHLFE,使得它包括以下指令:交换在路由器102’B接收到的数据分组的标签,使得负载均衡标识符指示数据分组属于第二FEC。例如,新NHLFE包括将负载均衡标识符号从“1”改变为“0”的指令。图7中所示的数据路径配置的结果是:当路由器102’B经由非下游LFA网络节点102’E进行负载均衡时,它将具有对应于MT-ID“1”传入标签的数据分组与对应于MT-ID“0”的输出标签进行标签交换。
如果另一方面,非下游LFA网络节点是102’F(远程LFA),并且如果路由器决定经由路由器102’F进行负载平衡,则将新NHLFE附加地配置为包括在负载均衡的情况下将附加标签推至数据分组的指令,即将另一标签(“外部标签”)附至数据分组的现有标签,这使数据分组能够“隧道”通过位于路由器102’B和远程非下游LFA网络节点102’F之间的路由器102’E,以防止将数据分组从中间路由器102’E发回到路由器102’B。附加标签(外部标签)是在路由器102’B处从路由器102’E(远程LFA 102’F的下一跳)接收到的标签,包括作为IP目的地址的远程网络节点102’F的IP地址和MT-ID“0”。
如以上可以显而易见的,如果在路由器102’中与FEC相对应的IP地址可达,则标准LDP功能(其可以用于实现图4中的步骤S1和图6a中的步骤S1a)向FEC分配/绑定标签,并向路由器的直接IGP邻居分发标签。邻居路由器可以从若干邻居接收标签(经由LDP)。存储从邻居接收到的标签。路由器在这些接收到的标签中选择一个标签(取决于针对FEC中的目的IP地址的路由过程)并使用所选标签(与所选的下一跳路由器相对应)作为NHLFE条目。与标准FEC相比的一种扩展可以是可以由以上定义的两种FEC类型来使用同一路由表。
所提出的负载均衡方法可以基于每个FEC工作,即针对给定的FEC选择一个NHLFE条目,或者所提出的负载均衡方法可以通过使用任意散列机制工作,即散列机制选择NHLFE集合中的条目之一。
一个优点在于:本方法针对环形拓扑IP/MPLS网络提供了无环路负载均衡解决方案,而不依赖业务工程(Traffic engineering)扩展。这有时是需要的,原因在于:
-在聚合/城域网络中环路拓扑是普遍的。
-在MW环或布置中将同时发生多链路故障或降级。
-业务工程扩展(与最短路径相比)管理复杂。
-微波网络中的自适应带宽处理需要负载均衡方法。
本发明的实施例具体适用于聚合/回程网络区域中的IP/MPLS微波通信网络。
据信,根据上述描述将完全理解本公开的许多优点,并且将理解可以在本发明的示例方面的形式、结构和布置方面做出许多改变,而不偏离本发明的范围,或者不牺牲其全部优点。因为本发明可以以许多方式改变,将认识到不应当仅通过以下权利要求的范围来限制本发明。

Claims (16)

1.一种操作通信网络的网络节点的方法,所述网络节点与下游网络节点连接并与非下游无环路备选LFA网络节点连接,
所述方法包括:
-在网络节点处接收包括负载均衡标识符的数据分组,所述负载均衡标识符指示是否允许经由非下游LFA网络节点对数据分组进行负载均衡;
-如果数据分组的负载均衡标识符指示允许经由非下游LFA网络节点对数据分组进行负载均衡,并且如果网络节点决定经由非下游LFA网络节点对数据分组进行负载均衡,则改变所述负载均衡标识符,使得它指示不允许经由另一非下游LFA网络节点对数据分组进行另一负载均衡;以及
-向非下游LFA网络节点转发这样修改的数据分组。
2.根据权利要求1所述的方法,
其中,如果所述负载均衡标识符指示不允许经由非下游LFA网络节点对数据分组进行负载均衡,则网络节点向下游网络节点转发数据分组。
3.根据权利要求2所述的方法,
其中,即使负载均衡标识符指示不允许经由非下游LFA网络节点对数据分组进行负载均衡,在通信网络中发生了将不利地影响或妨碍向下游网络节点转发数据分组的故障的情况下,网络节点向非下游LFA网络节点转发数据分组。
4.根据权利要求1至3中任一项所述的方法,
其中通信网络是多协议标签交换MPLS通信网络,并且网络节点是标签交换路由器LSR。
5.根据权利要求4所述的方法,
其中数据分组包括标签,所述标签包括负载均衡标识符和数据分组目的IP地址,其中如果负载均衡标识符指示允许经由非下游LFA网络节点对数据分组进行负载均衡,则网络节点将数据分组视为属于第一转发等价类FEC,并且如果负载均衡标识符指示不允许经由非下游LFA网络节点对数据分组进行负载均衡,则网络节点将数据分组视为属于第二FEC。
6.根据权利要求5所述的方法,
其中使用用于处理属于不同FEC的数据分组的标准功能来执行对负载均衡标识符的所述改变和对数据分组的所述转发。
7.根据权利要求5至6中任一项所述的方法,
其中,在网络节点处接收数据分组之前,所述网络节点针对与可达目的网络节点相对应的至少一个IP目的地址分配第一标签和第二标签,其中第一标签包括IP目的地址和指示允许经由非下游LFA网络节点对数据分组进行负载均衡的负载均衡标识符,并且第二标签包括IP目的地址和指示不允许经由非下游LFA网络节点对数据分组进行负载均衡的负载均衡标识符,并且网络节点向邻居网络节点传送第一标签和第二标签。
8.根据权利要求5至6中任一项所述的方法,
其中所述数据分组目的IP地址和负载均衡标识符号一起形成多拓扑互联网协议MT IP地址。
9.根据权利要求5至6中任一项所述的方法,
其中,在网络节点中存储的路由信息对于第一FEC和第二FEC二者是相同的,网络节点根据所述在网络节点中存储的路由信息来转发数据分组。
10.根据权利要求5至6中任一项所述的方法,
其中,在网络节点处接收数据分组之前,网络节点执行以下过程:
-基于网络节点中存储的路由信息,确定下一跳标签转发条目NHLFE的集合,所述NHLFE的集合被指派给目的IP地址和指示数据分组属于第一FEC的负载均衡标识符;以及
-向所述NHLFE的集合添加新NHLFE,所述新NHLFE包括作为下一跳的非下游LFA网络节点的IP地址,其中新NHLFE包括以下指令:交换数据分组的标签,使得负载均衡标识符指示数据分组属于第二FEC。
11.根据权利要求5至6中任一项所述的方法,
其中,在网络节点有多个非下游LFA网络节点可用于负载均衡的情况下,为了改变数据分组的负载均衡标识符,在网络节点处接收数据分组之前网络节点执行以下过程:
-如果负载均衡标识符指示数据分组属于第一FEC,则基于网络节点中存储的路由信息确定下一跳标签转发条目NHLFE的集合,所述NHLFE的集合被指派给数据分组的多拓扑互联网协议MT IP地址的目的IP地址;以及
-向所述NHLFE的集合添加多个新NHLFE,每个新NHLFE包括作为下一跳的非下游LFA网络节点之一的IP地址,其中新NHLFE包括以下指令:交换数据分组的标签,使得负载均衡标识符指示数据分组属于第二FEC。
12.根据权利要求7所述的方法,
其中,如果非下游LFA网络节点不是网络节点的直接邻居,则将已在网络节点处从位于网络节点和非下游LFA网络节点之间的邻居网络接收到的附加标签附至数据分组,其中附加标签包括数据分组目的IP地址和指示不允许经由非下游LFA网络节点对数据分组进行负载均衡的负载均衡标识符。
13.一种操作多协议标签交换MPLS通信网络的网络节点的方法,
所述方法包括:
-如果要启用经由非下游无环路备选LFA网络节点对网络节点和目的网络节点之间的数据分组的负载均衡,则生成第一多拓扑互联网协议MT IP地址,所述第一MT IP地址包括目的网络节点的目的IP地址和代表数据分组的第一转发等价类FEC的负载均衡标识符,以及生成第二MT IP,所述第二MT IP包括目的网络节点的目的IP地址和代表数据分组的第二FEC的负载均衡标识符;以及
-触发生成以第一MT IP地址作为输入参数的标签分发协议LDP消息,并触发生成以第二MT IP地址作为输入参数的LDP消息,使得邻居网络节点接收LDP消息。
14.一种计算机可读记录介质,包括程序代码部分,所述程序代码用于:当在一个或更多个计算设备上执行程序代码部分时,执行前述权利要求中任一项所述的方法。
15.一种通信网络的网络节点,所述网络节点能够与下游网络节点连接并与通信网络的非下游无环路备选LFA网络节点连接,
通信网络的网络节点包括:
-接收单元,被配置为:接收包括负载均衡标识符的数据分组,所述负载均衡标识符指示是否允许经由非下游LFA网络节点对数据分组进行负载均衡;
-处理单元,与接收单元连接并被配置为:如果数据分组的负载均衡标识符指示允许经由非下游LFA网络节点对数据分组进行负载均衡,并且如果网络节点决定经由非下游LFA网络节点对数据分组进行负载均衡,则改变所述负载均衡标识符,使得它指示不允许经由另一非下游LFA网络节点对数据分组进行另一负载均衡;以及
-转发单元,与处理单元连接并被配置为向非下游LFA网络节点转发这样修改的数据分组。
16.一种多协议标签交换MPLS通信网络的网络节点,包括:
-生成单元,被配置为:如果要启用经由非下游LFA网络节点对网络节点和目的网络节点之间的数据分组的负载均衡,则生成第一多拓扑互联网协议MT IP地址,所述第一MT IP地址包括目的网络节点的目的IP地址和代表数据分组的第一转发等价类FEC的负载均衡标识符,以及生成第二MT IP,所述第二MT IP包括目的网络节点的目的IP地址和代表数据分组的第二FEC的负载均衡标识符;以及
-触发单元,与生成单元相连,并被配置为:触发生成以第一MT IP地址作为输入参数的标签分发协议LDP消息,以及触发生成以第二MT IP地址作为输入参数的LDP消息,使得邻居网络节点接收LDP消息。
CN201380075935.XA 2013-04-30 2013-04-30 操作网络节点以负载均衡的技术 Active CN105144627B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/058995 WO2014177190A1 (en) 2013-04-30 2013-04-30 Technique of operating a network node for load balancing

Publications (2)

Publication Number Publication Date
CN105144627A CN105144627A (zh) 2015-12-09
CN105144627B true CN105144627B (zh) 2019-03-29

Family

ID=48190996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380075935.XA Active CN105144627B (zh) 2013-04-30 2013-04-30 操作网络节点以负载均衡的技术

Country Status (4)

Country Link
US (1) US10298499B2 (zh)
EP (1) EP2992643B1 (zh)
CN (1) CN105144627B (zh)
WO (1) WO2014177190A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769068B2 (en) * 2013-09-30 2017-09-19 Cisco Technology, Inc. Virtual LDP session
US10382534B1 (en) 2015-04-04 2019-08-13 Cisco Technology, Inc. Selective load balancing of network traffic
US9998361B2 (en) * 2015-09-30 2018-06-12 Juniper Networks, Inc. MLDP multicast only fast re-route over remote loop-free alternate backup path
US11005682B2 (en) 2015-10-06 2021-05-11 Cisco Technology, Inc. Policy-driven switch overlay bypass in a hybrid cloud network environment
US10523657B2 (en) 2015-11-16 2019-12-31 Cisco Technology, Inc. Endpoint privacy preservation with cloud conferencing
US10659283B2 (en) 2016-07-08 2020-05-19 Cisco Technology, Inc. Reducing ARP/ND flooding in cloud environment
US10263898B2 (en) 2016-07-20 2019-04-16 Cisco Technology, Inc. System and method for implementing universal cloud classification (UCC) as a service (UCCaaS)
BR112019003923A2 (pt) 2016-09-19 2019-05-21 Huawei Technologies Co., Ltd. método de persistência de sessão, dispositivo de nó, balanceador de carga, e meio de armazenamento legível em computador
US11044162B2 (en) 2016-12-06 2021-06-22 Cisco Technology, Inc. Orchestration of cloud and fog interactions
US10326817B2 (en) 2016-12-20 2019-06-18 Cisco Technology, Inc. System and method for quality-aware recording in large scale collaborate clouds
US10334029B2 (en) 2017-01-10 2019-06-25 Cisco Technology, Inc. Forming neighborhood groups from disperse cloud providers
US10552191B2 (en) 2017-01-26 2020-02-04 Cisco Technology, Inc. Distributed hybrid cloud orchestration model
US10892940B2 (en) 2017-07-21 2021-01-12 Cisco Technology, Inc. Scalable statistics and analytics mechanisms in cloud networking
US10798230B2 (en) * 2018-08-23 2020-10-06 Morgan Stanley Services Group Inc. Faulty distributed system component identification
US11477138B2 (en) * 2020-12-23 2022-10-18 Nokia Solutions And Networks Oy Packet reordering in packet switched networks

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120552A (zh) * 2005-02-28 2008-02-06 思科技术公司 利用服务标签的mpls的环路防止技术
CN102025632A (zh) * 2010-12-15 2011-04-20 迈普通信技术股份有限公司 Mpls网络中数据分组的标签分配方法及系统
CN102437955A (zh) * 2011-12-16 2012-05-02 杭州华三通信技术有限公司 一种lsp保护方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003077121A (ja) * 2001-08-31 2003-03-14 Fuji Electric Co Ltd 磁気記録媒体およびその製造方法
US20050007954A1 (en) * 2003-07-11 2005-01-13 Nokia Corporation Network device and method for categorizing packet data flows and loading balancing for packet data flows
CN1852989A (zh) * 2003-07-18 2006-10-25 巴斯德研究院 Pknb激酶和pstp磷酸酶以及鉴定抑制性物质的方法
US7852772B2 (en) * 2005-10-20 2010-12-14 Cisco Technology, Inc. Method of implementing a backup path in an autonomous system
KR101279439B1 (ko) * 2007-07-23 2013-06-26 삼성전자주식회사 무선 usb를 이용하여 적어도 하나 이상의 디바이스들과접속 가능한 호스트 장치 및 상기 호스트 장치의 접속 방법
US8619769B2 (en) * 2008-06-12 2013-12-31 Mark Henrik Sandstrom Packet-layer transparent packet-switching network
EP2523405A4 (en) * 2010-01-08 2016-09-07 Nec Corp COMMUNICATION SYSTEM, TRANSMISSION NUDS, ROUTING MANAGEMENT SERVER AND COMMUNICATION METHOD
JP5847473B2 (ja) * 2011-07-21 2016-01-20 シチズンホールディングス株式会社 光モジュール
US9270584B2 (en) * 2012-02-28 2016-02-23 Cisco Technology, Inc. Diverse paths using a single source route in computer networks
US9036477B2 (en) * 2012-12-10 2015-05-19 Verizon Patent And Licensing Inc. Virtual private network to label switched path mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120552A (zh) * 2005-02-28 2008-02-06 思科技术公司 利用服务标签的mpls的环路防止技术
CN102025632A (zh) * 2010-12-15 2011-04-20 迈普通信技术股份有限公司 Mpls网络中数据分组的标签分配方法及系统
CN102437955A (zh) * 2011-12-16 2012-05-02 杭州华三通信技术有限公司 一种lsp保护方法和设备

Also Published As

Publication number Publication date
CN105144627A (zh) 2015-12-09
EP2992643B1 (en) 2017-03-15
US10298499B2 (en) 2019-05-21
EP2992643A1 (en) 2016-03-09
US20160099873A1 (en) 2016-04-07
WO2014177190A1 (en) 2014-11-06

Similar Documents

Publication Publication Date Title
CN105144627B (zh) 操作网络节点以负载均衡的技术
US11882026B2 (en) Method and node for packet transmission in network
US11140076B2 (en) Apparatus, system, and method for packet switching
CN109873760B (zh) 处理路由的方法和装置、以及数据传输的方法和装置
US7471669B1 (en) Routing of protocol data units within a communication network
US8170022B2 (en) Method and apparatus for actively discovering internet protocol equal cost multiple paths and associate metrics
US20200396162A1 (en) Service function chain sfc-based communication method, and apparatus
EP2761832B1 (en) Optimizing endpoint selection of mrt-frr detour paths
US10439880B2 (en) Loop-free convergence in communication networks
JP6443864B2 (ja) パケット紛失検出を実装するための方法、装置、およびシステム
US10785095B2 (en) Service fault locating method and apparatus
EP4002776A1 (en) End-to-end flow monitoring in a computer network
CN108011820A (zh) 基于监测网络流量条件的旁路标签交换路径的动态修改

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant