CN103026663B - 分布式连通性验证协议冗余 - Google Patents
分布式连通性验证协议冗余 Download PDFInfo
- Publication number
- CN103026663B CN103026663B CN201180039396.5A CN201180039396A CN103026663B CN 103026663 B CN103026663 B CN 103026663B CN 201180039396 A CN201180039396 A CN 201180039396A CN 103026663 B CN103026663 B CN 103026663B
- Authority
- CN
- China
- Prior art keywords
- cvp
- conversation
- session
- group
- particular group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/24—Multipath
- H04L45/245—Link aggregation, e.g. trunking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/68—Pseudowire emulation, e.g. IETF WG PWE3
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Abstract
在一个实施例中,特定虚拟接口(VI)的连通性验证协议(CVP)会话可以在网络设备上的两个或更多个线卡(LC)的特定组上操作。然后,LC的组可以通过网络设备上的入口路径处理、以足以基于所协商的CVP全速率维持CVP会话的降低的速率将CVP会话分组传输至特定VI上。特别地,入口路径处理采用所传输的CVP会话分组,并将这些CVP会话分组传出至当前负责VI出口的网络设备的适当LC上。此外,响应于在当前负责VI入口的网络设备的LC上接收到针对VI的CVP会话分组,接收LC可以将接收到的CVP会话分组转发至LC的特定对应组,然后,LC的特定对应组可以处理接收到的CVP会话分组。
Description
技术领域
本公开总体涉及计算机网络,并且更具体地,涉及与虚拟接口一起使用的连通性验证协议。
背景技术
可以在计算机网络中使用连通性验证协议(CVP)(例如,双向转发和检测(BFD)),以便验证网络内的设备之间的连通性。特别地,通常期望在虚拟接口(VI)(例如,隧道和/或伪线)上执行CVP,这些虚拟接口(VI)不限于网络设备的特定接口或线卡。即,特定VI操作于其上(例如,作为出口或入口)的接口和线卡取决于各种路由协议的汇聚。然而,在网络设备的VI上执行CVP提出了许多挑战,特别是在防止假警报和管理负责管理CVP的线卡的可操作性和责任方面。
附图说明
可以通过参照结合附图的以下描述来更好地理解本文的实施例,在附图中,相似的参考标记指示相同或功能上类似的元件,附图中:
图1示意了示例计算机网络;
图2示意了示例网络设备;
图3示意了示例信令消息/分组;
图4A-G示意了网络设备内的示例消息/分组处理;以及
图5示意了分布式连通性验证协议冗余的示例过程。
具体实施方式
概述
根据本公开的一个或多个实施例,特定虚拟接口(VI)的连通性验证协议(CVP)会话可以被配置为在网络设备上的两个或更多个线卡(LC)的特定组上操作。然后,相应地,LC的组可以通过网络设备上的入口路径处理、以足以基于所协商的CVP全速率维持CVP会话的降低的速率(例如,小于所协商的CVP全速率)将CVP会话分组传输至特定VI上。特别地,入口路径处理采用所传输的CVP会话分组,并将这些CVP会话分组传出至当前负责VI出口的网络设备的适当LC上。此外,响应于在当前负责VI入口的网络设备的LC上接收到针对VI的CVP会话分组,接收LC可以将接收到的CVP会话分组转发至LC的特定对应组,然后,LC的特定对应组可以处理接收到的CVP会话分组。这样,针对VI的CVP会话可以是分布式且冗余的。
描述
计算机网络是由用于在端节点(例如,个人计算机和工作站)之间传输数据的通信链路和片段互连的节点的地理上分布的集合。许多类型的网络是可用的,其中,类型处于从局域网(LAN)至广域网(WLAN)的范围内。典型地,LAN通过位于相同的一般物理位置(例如,建筑物或校园)中的专用私有通信链路将节点相连接。另一方面,典型地,WAN通过长距离通信链路(例如,公共运营商电话线路、光学光路、同步光网络(SONET)或同步数字体系(SDH)链路)将地理上分散的节点相连接。互联网是遍布全世界将全异网络相连接从而在各种网络上提供节点之间的全球通信的WAN的示例。典型地,节点通过根据预定义协议(例如,传输控制协议/互联网协议(TCP/IP))交换数据的离散帧或分组,在网络上进行通信。在该上下文中,协议由定义节点如何彼此交互的规则集合构成。计算机网络可以进一步由中间网络节点(例如,路由器)互连,以扩展每个网络的有效“大小”。
由于互连的计算机网络的管理可以证明是繁重的,因此可以将计算机网络的更小组维持作为路由域或自主系统。典型地,自主系统(AS)内的网络由被配置为执行域内路由协议的传统“域内”路由器耦合在一起,并一般遭受公共权威的管制。为了改进路由可扩缩性,服务提供商(例如,ISP)可以将AS划分为多个“区域”或“级别”。然而,可以期望增加能够交换数据的节点的数目;在这种情况下,使用执行域间路由协议的域间路由器将各种AS的节点互连。此外,可以期望将在不同管理域下操作的各种AS互连。如本文所使用,AS、区域或级别一般被称为“域”。
图1是示意性地包括节点/设备(例如,由如所示的链路110互连的路由器200)的示例计算机网络100的示意框图。示意性地,在链路110上方的可以是一个或多个虚拟接口(VI)120(例如,隧道、伪线等,如本领域技术人员可以意识到的那样)。本领域技术人员还将理解,可以在计算机网络中使用任何数目的节点、设备、链路等,并且,本文示出的视图是为了简单起见。可以使用预定义网络通信协议(例如,传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、异步传送模式(ATM)协议、帧中继协议、互联网分组交换(IPX)协议、多协议标签交换(MPLS)、通用路由封装(GRE)等)在计算机网络100的节点/设备之间交换数据分组140(例如,业务)。
图2是可与本文描述的一个或多个实施例一起使用的示例节点/设备200(例如,作为路由器)的示意框图。该设备包括由系统总线250互连的多个线卡、一个或多个处理器220和存储器240。线卡(LC)210包含用于在与网络100耦合的物理网络接口214(链路)上传送数据的机械、电气和信令电路。网络接口可以被配置为使用多种不同通信协议来发送和/或接收数据,这些不同通信协议特别包括TCP/IP、UDP、ATM、同步光网络(SONET)、无线协议、帧中继、以太网、光纤分布式数据接口(FDDI)等。特别地,物理网络接口214还可以用于实现本领域技术人员公知的一个或多个虚拟网络接口(VI),例如隧道(MPLS、GRE等)、伪线等。此外,如本文所描述,LC210还可以包括一个或多个过程(由处理器执行),例如,示意性“CVP过程”212。
存储器240包括(多个)处理器220可寻址的用于存储与本文描述的实施例相关联的软件程序和数据结构的多个存储位置。处理器220可以包括适于执行软件程序并操控数据结构(例如,路由表等)的必要元件或逻辑。操作系统242(例如,CiscoSystems股份有限公司的网络互联操作系统或IOS?)通过特别地调用网络操作以支持在设备上执行的软件过程和/或服务,来在功能上组织节点,典型地,所述操作系统242的部分驻留于存储器240中并由(多个)处理器执行。这些软件过程和/或服务可以包括路由过程/服务244、VI过程245、入口路径过程246和连通性验证协议(CVP)过程248,如本文所描述。对本领域技术人员来说将显而易见,可以使用包括各种计算机可读介质的其他类型的处理器和存储器来存储和执行关于本文描述的技术的程序指令。此外,相应地,如本文描述的一个或多个过程可以被可替换地体现为利用对应过程的功能而配置的硬件、软件和/或固件模块。
路由服务244包含由处理器220执行以实行由一个或多个路由协议(例如,内部网关协议(IGP)(例如,开放最短路径优先“OSPF”和中间系统到中间系统“IS-IS”)、边界网关协议(BGP)等,如本领域技术人员将理解的那样)提供的功能的计算机可执行指令。这些功能可以被配置为管理包含例如用于做出转发决定的数据的转发信息数据库(未示出)。特别地,可以使用路由协议(例如,传统OSPF和IS-IS链路状态协议(例如,“汇聚”至网络拓扑的相同视图))在路由器200之间传送网络拓扑的改变。特别地,路由服务244还可以执行与用于虚拟接口(VI)120的虚拟路由协议245(例如,维持隧道协议(例如用于多协议标签交换等)或伪线协议,每一个均如本领域技术人员将理解的那样)相关的功能。此外,作为虚拟路由/接口过程245的一部分,示意性入口路径过程246(例如,过程244和/或245的组成部分)还可以被示意性地配置为基于虚拟路由汇聚将分组适当地转发至物理接口,如本文描述且如本领域技术人员可以意识到的那样。例如,如图1所示,可以将VI标签的VI-A路由出第一物理接口和线卡,而且然后出于路由协议目的,可以将该VI标签的VI-A移动至另一物理接口和/或线卡(被示作VI-B)。
连通性验证协议(CVP)服务或过程248包含由处理器220执行以验证两个系统/设备之间的连通性的计算机可执行指令。示意性地,可使用的连通性验证协议是双向转发和检测(BFD)协议。示意性地,CVP服务248可以根据控制分组/消息在两个设备之间的传输来验证两个系统/设备之间的连通性。假定例如第一设备(监视节点)希望使用CVP(例如BFD)来验证其与第二设备(被监视的节点)的连通性。第一设备可以将消息传输至第二设备,并可以基于来自第二设备的响应/未响应(例如,在特定时间段内)来验证连通性。如果第一设备未在该时间段内从第二设备接收到响应,则相应地第一设备确定CVP会话已发生故障或“超时”(或者“停止”)。可以以所协商的速率来回传输这些消息,使得在所期望的时间帧内未从该设备接收到消息(所协商的速率加上给定的检测倍数(multiplier)以考虑特定数目的丢失消息)的情况下,相对的设备可以被视为不可达到的。
图3示意了有能力的设备200(例如,LC210)可传输的示例连通性验证协议消息300。示意性地,消息300是在BFD消息之后建模的通用消息,并且本领域技术人员将理解,其他消息(例如回送消息)可以相应地包括其他字段。消息300包括封装协议报头310、可选的CVP报头字段315、鉴别器(discriminator)值字段320(例如,“My_discriminator(我的鉴别器)”322和/或“Your_discriminator(你的鉴别器)”324)和其他信息的字段325。如本领域技术人员将理解的,在适于环境(例如,TCP/IP、MPLS等)的封装中发送CVP消息300。因此,封装协议报头310包含具体类型的封装的信息标准。
CVP报头字段315可以包括标准CVP(例如,BFD)报头信息(诸如例如,CVP版本号、消息长度、特定标记等)或者如由发送设备配置的其他信息(或多或少)。由于发送设备可以具有一次建立的多于一个的CVP会话(例如,与相同接收设备或其他接收设备),因此一旦该会话已被接收设备接收到,鉴别器字段320就包含足以将消息300解复用为正确CVP会话的信息。示例鉴别器可以是对每个CVP会话进行标识的不透明值,且其在每个设备处的所有CVP会话当中是唯一的。例如,“My_discriminator”值322在发送设备处唯一,而“Your_discriminator”324值在接收设备处唯一。此外,可以根据CVP协议来使用其他信息字段325,诸如例如,定时器间隔值、认证等。特别地,CVP可以在任何数目的链路上以及在任何协议层(例如,物理、数据链路、网络、虚拟等,如本领域技术人员将理解的那样)处操作。传统地,如果CVP消息300(例如,回送消息)没有被返回至第一设备,则第一设备声明会话停止。当检测到(链路或远程节点/设备)的故障时,所关注的应用(例如,路由协议等)可以采取适当的动作(例如,从路由/转发表移除对邻接的任何参考)并在故障点周围路由业务。
如上所述,通常期望在虚拟接口(VI)(例如,隧道和/或伪线)上执行CVP,这些虚拟接口(VI)不限于网络设备的特定接口或线卡。即,特定VI操作于其上(例如,作为出口或入口)的接口和线卡取决于各种路由协议的汇聚。然而,在网络设备的VI上执行CVP提出了许多挑战,特别是在防止假警报和管理负责管理CVP的线卡的可操作性和责任方面。
例如,可以使用单跳CVP会话来检测隧道接口或伪线(PW)首端接口上的连通性。即,PW首端(PW-HE)接口可以用于在服务路由器(例如,提供商边缘或“PE”设备)上终止PW业务并将服务提供给源自客户站点的PW业务,并且CVP可以用于监视该接口上的可达性。由于VI业务(例如,隧道和PW-HE业务)可以终止于服务路由器上的任何线卡上,因此业务将在其上终止的线卡将取决于隧道或PW-HE目的地的路由状态(例如,IGP可达性)。因此,为了操作针对VI的CVP会话,可以使用分布式CVP,其在任何所选线卡210上而不是当前接口214自身上执行。由此,可以将CVP会话分组300注入到具有内部标签/上下文的入口路径处理246中,使得过程246将切换分组并使这些分组传出隧道/PW-HE接口当前传出的当前线卡210。
尽管以上布置有助于说明虚拟接口改变线卡(和接口)的能力,但是仍将CVP会话联系至单个LC,该单个LC可以与VI无关地发生故障。例如,响应于LC在线插入和移除(OIR)、LC硬件故障、LC上的CVP软件升级或者LC上的CVP过程崩溃,LC可能被“停止”。提供冗余的一个选项是“活动/待机”冗余,其中,2个LC维持关于CVP会话的状态。然而,活动/待机解决方案取决于本地线卡(或至少CVP过程)被停止的检测时间。如果CVP会话间隔小于以上事件的检测时间,则可以出现假肯定(警报)。换言之,然而,与在路由器上操作的路由协议或中央CVP过程相关联的等待时间不特别适当地适于与高速CVP(例如,BFD)一起使用。例如,响应于一个LC停止而切换LC需要检测该LC被停止,切换至备用(或完全新的)LC,并且然后从该所激活的LC发送CVP分组,从而导致针对扩展的且有害的延迟的许多机会。假肯定的概率也随在停止的线卡上托管的CVP会话的数目而增大,这是由于其耗费更多时间来处理所有所移置的会话。
分布式CVP冗余
根据本公开的一个或多个实施例,由于活动/待机解决方案的缺陷,本文针对CVP会话描述“活动/活动”冗余机制。具体地,每个CVP会话在至少两个线卡(LC)上操作,其中,每个LC维持关于CVP会话的状态,一个LC承担主动、主要角色,其他(多个)LC承担被动、备用角色。如本文所描述,一旦会话运转(up),每个LC就主动发送CVP分组,尽管以足以维持CVP会话的降低的速率(例如,半速率)。示意性地,本文描述的技术可以由硬件、软件和/或固件执行,例如根据中央CVP过程248(或“CVP中央”)以及结合LCCVP过程212,所述中央CVP过程248可以包含由处理器220执行以实行与本文描述的新型技术相关的功能的计算机可执行指令,所述LCCVP过程212也包含由处理器执行以实行与本文描述的新型技术相关的功能的计算机可执行指令。
操作上,可以将路由器200上的多个LC210划分为至少两个LC的组,其中,在每个组中,将一个LC指定为主要,并将另一LC指定为备用。例如,参照示意路由器200的示例可替换视图400的图4A,示出了LC1-4、CVP中央过程248和入口路径过程246。相应地,CVP中央可以确定LC组,并可以给每个组指派每个组所负责的VI和对应CVP会话的子集。换言之,可以针对LC的特定组配置针对特定VI的CVP会话。(注意,不是所有LC都需要被指派给组,并且在可替换实施例中,可以将LC指派给多于一个组。)例如,CVP中央可以向每个组的LC通知它们要管理具有目的地“X”(或者针对MPLS,具有内标签(inLabel)=“L”)的任何VI的CVP单跳会话。示意性地,假定负责所示的VI120的组包括作为主要LC的LC-3和作为备用LC的LC-4。
此外,线卡的硬件可以被编程为基于分组300的VI入口将所有CVP分组300指引至两个或更多个LC的特定组。特别地,当LC接收到具有与特定组ID(例如,GroupX/16(组X/16))相对应的your_discriminator值324的CVP分组时,那么该接收LC可以被编程为快速将分组300多播至两个对应LC。此外,如下所述,当该组中的一个LC停止时,CVP中央可以将另一LC指派给该组,并将硬件重新编程为将GroupX/16与旧LC一起指引至该新LC。
一般地,仅主要LC将负责CVP会话建立和拆除。例如,以传统的方式,主要LC(例如,LC-3)可以通过发出包含其对应组ID的my_discriminator值(使得应答将被转发至其LC的组)和某初始化值的your_discriminator值(例如,“0”)的CVP分组300,在VI上建立CVP会话。那么,响应CVP分组将包括(相对设备的)my_discriminator,以替换后续your_discriminator中的初始化值。
注意,反向地,your_discriminator值为“0”(或其他初始化值)的接收到的任何分组将被多播至托管CVP会话的路由器的所有LC,如图4B所示。然后,相应地,负责与在其上接收到CVP分组的VI(例如,基于VIID并且知道LC负责哪些VI,如上所指出的那样)相对应的CVP会话的主要LC可以对该分组做出响应。即,主要LC可以返回具有适当my_discriminator值的分组,以替换初始化值,使得接收LC未来将知道哪个组要接收分组。
一旦CVP中央在主要LC上发起CVP会话,则对应组的主要和备用LC就将以来自最高定时器值(在CVP分组中接收到或由CVP中央过程给定)的降低的速率执行。即,组的这两个LC均可以以小于所协商的CVP全速率的降低的速率(例如,一半(由于存在两个LC))将CVP会话分组300传输至特定VI上。如图4C所示,两个LC(LC-3和LC-4)中的每一个以半速率(单线)传输CVP分组,这导致全速率(双线)当前在LC-1处进入VI。
例如,假定CVP是BFD,那么对应的抑制定时器可以被配置为例如100ms。由于根据BFD,可能不以比所协商的速率更高的速率发送分组300,因此如果在特定组中存在两个LC,则降低的速率要满足的一个条件是:每个LC的个体速率应当足以每100ms发送至多一个分组。即,主要和备用LC的降低的速率可以是每200ms一个分组。
作为另一示例,对于其他CVP,会更少受到更高速率限制,即,可以以足以在抑制定时器期间发送至少一个分组的速率来发送分组300。由此,如果主要线卡的正常(“全”)速率被建立为每50ms一个分组,则降低的速率可以是例如每75ms一个分组,以便确保在抑制时段内接收到至少一个分组。此外,相应速率还可以在LC之间不同,例如,由主要LC每75ms传输分组并且由辅助LC每100ms传输分组。
特别地,可以实现控制机制以防止分组的不良分隔的突发,这是由于典型地,组的两个LC彼此无关地操作。即,假定要以与每100ms一次相等的全速率发送分组,那么半速率将是每200ms一次。在不控制两个LC的情况下,这两个LC均可以每200ms(或者在20ms和180ms等处)传输分组,导致分组的突发或另外的偏移传输。在特定条件下,这可以导致由于次优间隔而引起的假肯定(故障CVP会话的假结论)。相应地,可以实现例如以下措施:对LC上的时钟进行同步并适当地将降低的速率的分组分隔开(例如,随机地或实质上完美地交替,即,在所协商的速率附近)。可替换地或附加地,可以针对会话协商CVP检测倍数,该会话在声明会话停止之前允许特定数目的丢失CVP分组(例如,2-4),从而考虑CVP的独立降低的速率的传输。
在所建立的会话期间,针对VI的当前入口LC可以接收针对VI的CVP会话分组,并可以相应地将接收到的CVP会话分组转发至两个或更多个LC的特定组。例如,如上所述,这可以基于CVP分组的your_discriminator值内的组ID。然后,该组的这两个LC均可以接收分组,并且至少一个(例如,主要)LC可以处理接收到的CVP会话分组,以确定相对设备(对等端)的状态是运转还是停止。一般地,主要LC负责向数据平面和CVP中央过程248通知CVP会话的状态。图4D示意了以近似全速率对CVP分组的接收以及经由入口路径过程246向针对该VI的两个对应LC转发分组。
注意,如上所述,通过网络设备上的入口路径处理,网络设备将输出传输CVP会话分组传出至当前负责VI出口的适当LC上。由于这基于路由协议,因此在VI出口线卡改变(例如,从LC-1至LC-2,如图4E所示)的情况下,那么入口路径处理简单地将CVP分组从负责的组的LC重新指引至适当出口LC。
响应于检测到特定CVP会话组内的LC之一停止(例如,由于OIR、故障等),该组的其余LC可以被指示为开始以CVP全速率(或其他所指派的速率)传输CVP会话分组,如图4F所示。特别地,在将该其余CVP指示为以全速率传输所耗费的时间中,降低的速率分组应当足以维持CVP会话。如果停止的是主要LC,则可以将备用LC(一旦从CVP中央通知)重新指派为主要LC以承担对状态维持的控制。稍后可以将网络设备的新LC指派给特定组(例如,LC-2,如图4G所示),此时,该组的其余LC和新LC可以被指示为以降低的速率继续CVP分组传输。特别地,当另一LC被指派给该组时,CVP中央可以将LC210的硬件重新编程(基于鉴别器值)为将针对该VI的接收到的(入口)CVP分组与其余LC一起指引至该新LC。
还要注意,为了在主要LC故障时保存本地CVP会话的状态,中央CVP过程248可以在至少T秒内保持从主要LC接收到的最后知道的良好状态,T足够大以使备用LC接管并确认CVP会话的状态。具体地,尽管备用LC不需要规则地将状态信息发送至CVP中央,但是备用LC仍可以在T秒内对任何BFD状态转移进行排队,使得如果备用LC在T延迟之前变为主动的,则可以将排队的状态发送至CVP中央。一般地,可以丢弃来自备用LC(尚未是主要LC)的状态信息,这是由于这样做的是主动主要LC的角色,但是,将中央CVP过程配置为处理相同CVP会话的重叠通知可以是有益的。
图5示意了根据本文描述的一个或多个实施例的提供分布式CVP冗余的示例简化过程。过程500开始于步骤505并继续至步骤510,在步骤510中,将虚拟接口120和任何对应的所配置的CVP会话指派给两个(或更多个)LC210(一个主要LC和一个备用LC)的组,如上所述。此外,在步骤515中,可以将LC的硬件编程为根据分组的关联CVP会话(例如,经由鉴别器值324)将CVP分组300指引(例如,多播)至对应LC。
在步骤520中,被指派给特定CVP会话的LC的组可以以降低的速率(例如,一半)通过入口路径处理246将CVP会话分组300传输至对应VI120上。可选地,如上所述,传输定时可以以特定控制措施继续进行,例如同步时钟、检测倍数等。在步骤525中,当前负责VI入口的任何LC可以接收CVP会话分组,并在步骤530中,检查鉴别器(组ID)值324以确定哪里转发分组。当存在ID时,那么在步骤535中,将接收到的CVP会话分组转发(例如,多播)至如在步骤515中指示的LC的对应组。另一方面,如果不存在ID(例如,值“0”),则在步骤540中,可以将分组转发至托管CVP会话的所有LC,以允许适当LC响应。相应地,在步骤545中,基于组ID或VIID的对应组内的至少一个LC(例如,主要LC)可以接收并处理CVP会话分组。
CVP分组的发送和接收可以以这种方式继续,并且在步骤550中的某点处,特定组内的LC可能停止(例如,故意或非故意)。如果停止,则在步骤555中,该组的其余LC可以被指示为以全速率传输CVP会话分组,并且,在步骤560中,如果停止的LC是主要的,则可以将该组的其余LC重新指派为针对该组的新主要LC。可选地,在步骤565中,可以将新LC指派给该组,此时,其余LC和新指派的LC可以再次以降低的速率传输CVP会话分组。过程500继续发送和接收分组,并对停止的LC做出反应,直到CVP会话被拆除或另外被停止为止。注意,尽管示出并描述了步骤的特定顺序,但是该顺序仅是一个代表性示例。例如,步骤520可以落在525-545之后,而步骤555-565可以按任何顺序进行。
本文描述的新型技术在计算机网络中提供了分布式CVP冗余,特别是针对虚拟接口。通过使两个LC针对给定CVP会话维持状态,针对给定会话发送(例如,以降低的速率)和接收所有CVP分组,新型技术缓解了与转移LC相关联的等待时间,并减少了假CVP警报的数目。特别地,上述“活动/活动”技术通过以下方式、经由更小的检测和反应时间来提供改进的性能(例如与活动/待机模式相比):一旦CVP会话运转,就使这两个LC均传输分组,从而放宽其他LC必须在会话唤起(flap)之前接管全速率传输和CVP状态机的所有权的关键时段。本文的解决方案也是鲁棒的,与LCOIR、硬件/ASIC差错(例如,LC重新加载)、LC上的CVP软件升级、LC上的CVP过程崩溃等的检测时间无关。此外,本文描述的一个或多个实施例的动态方面(例如,LC的CVP中央指派至CVP会话)缓解了对麻烦且低效的手动配置的需要。
尽管已经示出并描述了在计算机网络中提供分布式CVP冗余的示意性实施例,但是应当理解,在本文的实施例的精神和范围内,可以进行各种其他适配和修改。例如,本文使用BFD作为主要示例CVP已示出并描述了实施例。然而,在其更宽的意义上并不如此限制实施例,并且事实上,可以将这些实施例与其他合适CVP一起使用。此外,尽管示意性示例依赖于与多个线卡进行通信的中央CVP过程,但是本文的实施例还可以适用于网络设备的其他物理布置,例如,不具有物理上可移除的线卡的那些物理布置,或者仅将其出口和入口分类为网络接口的那些物理布置(例如,而不是控制多个接口的一个LC,每个接口可以彼此无关地操作)。
以上描述已经涉及具体实施例。然而,将显而易见的是,在获得一些或所有其优势的情况下,可以对所描述的实施例进行其他变型和修改。例如,明显可以想到,本文描述的组件和/或元件可以被实现为在具有在计算机、硬件、固件或其组合上执行的程序指令的有形计算机可读介质(例如,盘/CD/等)上存储的软件。相应地,该描述应仅通过示例的方式而进行,而不另外限制本文的实施例的范围。因此,所附权利要求的目的是覆盖落在本文的实施例的真实精神和范围内的所有这些变型和修改。
Claims (21)
1.一种用于连通性验证协议的方法,包括:
在网络设备上的两个或更多个线卡(LC)的特定组上配置针对特定虚拟接口(VI)的连通性验证协议(CVP)会话;
通过所述网络设备上的入口路径处理将CVP会话分组从LC的组传输至特定VI上,其中,所述网络设备将所传输的CVP会话分组传出至当前负责VI出口的所述网络设备的适当LC上,所述特定组的两个或更多个LC中的每一个以足以基于所协商的CVP全速率维持CVP会话的降低的速率传输CVP会话分组;
响应于在当前负责VI出口的所述网络设备的LC上接收到针对VI的CVP会话分组,将接收到的CVP会话分组转发至两个或更多个LC的特定组;以及
由所述特定组内的两个或更多个LC中的至少一个处理接收到的CVP会话分组。
2.根据权利要求1所述的方法,还包括:
响应于所述特定组内的LC中的一个停止,将所述网络设备的新LC指派给所述特定组。
3.根据权利要求1所述的方法,还包括:
响应于所述特定组内的LC中的一个停止,以CVP全速率从所述特定组的其余LC传输CVP会话分组。
4.根据权利要求3所述的方法,还包括:
响应于将所述网络设备的新LC指派给所述特定组,以降低的速率从所述特定组的其余LC以及新LC二者传输CVP会话分组。
5.根据权利要求1所述的方法,其中,所述特定组具有两个LC,并且降低的速率是所协商的CVP全速率的一半。
6.根据权利要求1所述的方法,其中,所述特定组的两个或更多个LC中的一个是主要LC,以及在这种情况下所述特定组的两个或更多个LC中的至少一个其他LC是备用LC。
7.根据权利要求6所述的方法,其中,所述主要LC负责建立和拆除CVP会话。
8.根据权利要求6所述的方法,还包括:
响应于所述主要LC停止,将所述备用LC重新指派为新的主要LC。
9.根据权利要求6所述的方法,其中,所述主要LC负责向所述网络设备的CVP中央过程和数据平面通知CVP会话的状态。
10.根据权利要求1所述的方法,其中,接收到的CVP分组包含CVP分组的鉴别器值内的组标识符(ID),该组ID指示接收到的CVP分组要被转发至LC的哪个组。
11.根据权利要求1所述的方法,还包括:
接收具有初始化的鉴别器值的CVP分组;以及作为响应,
将CVP分组转发至托管CVP会话的所述网络设备的所有LC。
12.根据权利要求11所述的方法,还包括:
由负责与接收到CVP分组的VI相对应的CVP会话的主要LC对接收到的CVP分组作出响应。
13.根据权利要求11所述的方法,其中,所述初始化的鉴别器值是“0”。
14.根据权利要求1所述的方法,还包括:
给两个或更多个LC的多个组中的每一个组指派每个组所负责的VI和对应CVP会话的子集。
15.根据权利要求1所述的方法,还包括:
对所述特定组的两个或更多个LC的时钟进行同步;以及
以降低的速率从LC的组传输CVP会话分组并使其相应地分隔开,以便以基本上近似所协商的CVP全速率传出所述网络设备。
16.根据权利要求1所述的方法,还包括:
对CVP检测倍数进行协商,以考虑CVP分组的独立、降低的速率的传输。
17.根据权利要求1所述的方法,其中,CVP会话是双向转发和检测(BFD)会话。
18.根据权利要求1所述的方法,其中,VI选自包括以下各项的组:隧道;以及伪线。
19.一种用于连通性验证协议的设备,包括:
处理器,其适于执行一个或多个过程;
多个线卡(LC),其具有适于在计算机网络上通信的网络接口,LC中的一个或多个被配置为负责作为所述设备的虚拟接口(VI)的入口或出口;
入口路径模块,其用于将接收到的分组传出至当前负责接收到的分组的对应VI的所述设备的适当LC上;
连通性验证协议(CVP)模块,其用于将两个或更多个LC的特定组配置为负责针对特定VI的CVP会话;
所述特定组的两个或更多个LC中的每一个上的LCCVP模块,所述LCCVP模块用于:
通过所述入口路径模块将CVP会话分组传输至特定VI上,其中,所述入口路径模块将所传输的CVP会话分组传出至当前负责特定VI出口的所述设备的适当LC上,所述特定组的两个或更多个LC中的每一个以足以基于所协商的CVP全速率维持CVP会话的降低的速率传输CVP会话分组;
处理接收到的CVP会话分组;以及
响应于接收到针对特定LC当前负责VI入口的对应VI的CVP会话分组,将接收到的CVP会话分组转发至针对该VI的CVP会话的LC的对应地负责的组。
20.根据权利要求19所述的设备,其中,所述LCCVP模块还用于:
响应于所述特定组内的LC中的一个停止,以CVP全速率传输CVP会话分组,直到CVP中央模块将所述设备的新LC指派给所述特定组为止,此时,传输以降低的速率继续。
21.根据权利要求19所述的设备,其中,所述特定组的两个或更多个LC中的一个是主要LC,以及在这种情况下所述特定组的两个或更多个LC中的至少一个其他LC是备用LC,所述LCCVP模块在作为主要LC操作时还用于:建立和拆除CVP会话;以及向所述CVP中央模块通知CVP会话的状态;以及其中,所述LCCVP模块在作为备用LC操作时还用于:响应于所述主要LC停止,充当新的主要LC。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/853,006 | 2010-08-09 | ||
US12/853006 | 2010-08-09 | ||
US12/853,006 US8850062B2 (en) | 2010-08-09 | 2010-08-09 | Distributed connectivity verification protocol redundancy |
PCT/US2011/001308 WO2012021155A1 (en) | 2010-08-09 | 2011-07-25 | Distributed connectivity verification protocol redundancy |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103026663A CN103026663A (zh) | 2013-04-03 |
CN103026663B true CN103026663B (zh) | 2016-01-13 |
Family
ID=44514940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180039396.5A Active CN103026663B (zh) | 2010-08-09 | 2011-07-25 | 分布式连通性验证协议冗余 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8850062B2 (zh) |
EP (1) | EP2604001B1 (zh) |
CN (1) | CN103026663B (zh) |
WO (1) | WO2012021155A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8848716B2 (en) * | 2011-04-11 | 2014-09-30 | Cisco Technology, Inc. | Termination of a pseudowires on multiple line cards |
CN104079446A (zh) * | 2013-03-29 | 2014-10-01 | 中兴通讯股份有限公司 | 一种自动协商mpls网络连通性检测时间的方法及系统 |
US9660907B2 (en) | 2013-05-24 | 2017-05-23 | Alcatel Lucent | System and method for transmitting an alert using a network virtualization using generic routing encapsulation (NVGRE) tunneling mechanism |
US9769011B2 (en) | 2015-01-16 | 2017-09-19 | Alcatel Lucent | Bidirectional forwarding detection over network virtualization using generic routing encapsulation |
US9819511B2 (en) * | 2015-01-16 | 2017-11-14 | Alcatel Lucent | Bidirectional forwarding detection over a virtual extensible local area network |
CN109691026B (zh) * | 2016-08-04 | 2022-06-10 | 瑞典爱立信有限公司 | 更新多个多协议标签切换双向转发检测会话的方法和装置 |
CN114598626A (zh) * | 2019-02-25 | 2022-06-07 | 华为技术有限公司 | 报文处理的方法和网关设备 |
CN110808953B (zh) * | 2019-09-27 | 2020-10-02 | 西安电子科技大学 | 一种具备位置感知的云数据可验证备份方法 |
US11394643B2 (en) | 2020-07-07 | 2022-07-19 | Ciena Corporation | In-service software upgrade systems and methods utilizing two router processors in a network element |
CN115001753B (zh) * | 2022-05-11 | 2023-06-09 | 绿盟科技集团股份有限公司 | 一种关联告警的分析方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1427581A (zh) * | 2001-12-17 | 2003-07-02 | 阿尔卡塔尔加拿大公司 | 用于在通信网络中检测故障和重新路由连接的系统和方法 |
US7720061B1 (en) * | 2006-08-18 | 2010-05-18 | Juniper Networks, Inc. | Distributed solution for managing periodic communications in a multi-chassis routing system |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6798744B1 (en) * | 1999-05-14 | 2004-09-28 | Pmc-Sierra, Inc. | Method and apparatus for interconnection of flow-controlled communication |
US6879559B1 (en) | 2000-10-31 | 2005-04-12 | Chiaro Networks, Ltd. | Router line card protection using one-for-N redundancy |
US6834139B1 (en) | 2001-10-02 | 2004-12-21 | Cisco Technology, Inc. | Link discovery and verification procedure using loopback |
US8144711B1 (en) * | 2002-07-15 | 2012-03-27 | Rockstar Bidco, LP | Hitless switchover and bandwidth sharing in a communication network |
US8218569B2 (en) * | 2004-04-05 | 2012-07-10 | Verizon Business Global Llc | Apparatus and method for terminating service emulation instances |
US7568047B1 (en) * | 2004-04-30 | 2009-07-28 | Nortel Networks Limited | Method and apparatus for adaptive service label management |
US7957266B2 (en) * | 2004-05-28 | 2011-06-07 | Alcatel-Lucent Usa Inc. | Efficient and robust routing independent of traffic pattern variability |
US7515529B2 (en) | 2004-12-14 | 2009-04-07 | Cisco Technology, Inc. | Efficient mechanism for fast recovery in case of border router node failure in a computer network |
US7499395B2 (en) | 2005-03-18 | 2009-03-03 | Cisco Technology, Inc. | BFD rate-limiting and automatic session activation |
CN100389571C (zh) | 2005-03-25 | 2008-05-21 | 华为技术有限公司 | 检测混合网络中端到端节点间链路故障的方法 |
CN100558051C (zh) * | 2005-08-10 | 2009-11-04 | 华为技术有限公司 | 对双向转发链路进行故障检测的方法 |
US7484021B2 (en) | 2005-10-27 | 2009-01-27 | Cisco Technology, Inc. | Technique for implementing virtual fabric membership assignments for devices in a storage area network |
US8054830B2 (en) * | 2005-12-07 | 2011-11-08 | Alcatel Lucent | Managing the distribution of control protocol information in a network node |
US8543718B2 (en) * | 2006-03-02 | 2013-09-24 | Cisco Technology, Inc. | Technique for efficiently and dynamically maintaining bidirectional forwarding detection on a bundle of links |
US7522595B2 (en) | 2006-06-16 | 2009-04-21 | Cisco Technology, Inc. | Communicating packets between forwarding contexts using virtual interfaces |
FI119311B (fi) * | 2006-07-04 | 2008-09-30 | Tellabs Oy | Menetelmä ja järjestely valvonta- ja hallintaviestien käsittelemiseksi |
US7639699B2 (en) | 2006-08-04 | 2009-12-29 | Cisco Technology, Inc. | Technique for sharing a physical port among a plurality of virtual bridges on a switch in a computer network |
FR2906430A1 (fr) * | 2006-09-25 | 2008-03-28 | France Telecom | Procede de routage dans un reseau de commutation par etiquettes |
US7983274B2 (en) * | 2006-12-21 | 2011-07-19 | Verizon Patent And Licensing Inc. | Performance monitoring of pseudowire emulation |
US7844719B2 (en) | 2007-02-13 | 2010-11-30 | Cisco Technology, Inc. | Tunnel availability detection with reduced control plane overhead |
JP4639207B2 (ja) * | 2007-03-14 | 2011-02-23 | 株式会社日立製作所 | ネットワークシステム、ノード装置及び管理サーバ |
WO2008120271A1 (ja) * | 2007-03-28 | 2008-10-09 | Fujitsu Limited | 通信方式および装置 |
US7948900B2 (en) * | 2007-05-10 | 2011-05-24 | Alcatel Lucent | Method and system for verifying connectivity of multi-segment pseudo-wires |
US7756029B2 (en) * | 2007-05-24 | 2010-07-13 | Harris Stratex Networks Operating Corporation | Dynamic load balancing for layer-2 link aggregation |
CN101316225B (zh) * | 2007-05-30 | 2012-12-12 | 华为技术有限公司 | 一种故障检测方法、通信系统和标签交换路由器 |
CN101094175B (zh) * | 2007-06-14 | 2011-06-01 | 华为技术有限公司 | 一种组播流量保护方法、装置及系统 |
US8488444B2 (en) | 2007-07-03 | 2013-07-16 | Cisco Technology, Inc. | Fast remote failure notification |
US8289839B2 (en) | 2007-07-05 | 2012-10-16 | Cisco Technology, Inc. | Scaling BFD sessions for neighbors using physical / sub-interface relationships |
CN101364861B (zh) * | 2007-08-08 | 2012-11-07 | 华为技术有限公司 | 一种MicroTCA系统、时钟卡及提供时钟的方法 |
US7839784B2 (en) * | 2007-08-15 | 2010-11-23 | Nec Laboratories America, Inc. | Virtual circuit connectivity verification insertion for packet loss control in pseudowire |
US7903554B1 (en) * | 2008-04-04 | 2011-03-08 | Force 10 Networks, Inc. | Leaking component link traffic engineering information |
US8179883B2 (en) * | 2008-06-17 | 2012-05-15 | General Instrument Corporation | Apparatus, method and system for managing session encapsulation information within an internet protocol content bypass architecture |
US7990852B1 (en) * | 2008-08-14 | 2011-08-02 | Tellabs San Jose, Inc. | Methods and apparatus for improving network communication using BFD and VRRP tracking system |
US8014275B1 (en) * | 2008-12-15 | 2011-09-06 | At&T Intellectual Property L, L.P. | Devices, systems, and/or methods for monitoring IP network equipment |
US7839789B2 (en) * | 2008-12-15 | 2010-11-23 | Verizon Patent And Licensing Inc. | System and method for multi-layer network analysis and design |
US8064338B2 (en) * | 2008-12-31 | 2011-11-22 | Telefonaktiebolaget L M Ericsson (Publ) | HVPLS hub connectivity failure recovery with dynamic spoke pseudowires |
US7991016B2 (en) * | 2009-01-06 | 2011-08-02 | Alcatel-Lucent Usa Inc. | High availability clock synchronization and distribution for mobile backhaul networks |
US8139479B1 (en) * | 2009-03-25 | 2012-03-20 | Juniper Networks, Inc. | Health probing detection and enhancement for traffic engineering label switched paths |
US8165032B1 (en) * | 2009-03-27 | 2012-04-24 | Brocade Communications Systems, Inc. | Dynamic configuration of liveliness detection |
US8848712B2 (en) * | 2009-08-10 | 2014-09-30 | Infinera Corporation | Distributed RSVP-TE in a multi-chassis node architecture |
US8339942B2 (en) * | 2009-10-15 | 2012-12-25 | Telefonaktiebolaget L M Ericsson (Publ) | RSVP-TE graceful restart under fast re-route conditions |
US8332684B2 (en) * | 2009-11-09 | 2012-12-11 | Middlecamp William J | Timer bounded arbitration protocol for resource control |
US9882809B2 (en) * | 2009-11-24 | 2018-01-30 | Verizon Patent And Licensing Inc. | Just-in time forwarding information base |
US8989020B2 (en) * | 2009-12-03 | 2015-03-24 | Verizon Patent And Licensing Inc. | Bidirectional forwarding detection (BFD) protocol extension for detecting random traffic dropping |
US8543728B2 (en) * | 2010-03-25 | 2013-09-24 | Verizon Patent And Licensing Inc. | Dampening interface flapping |
US8472438B2 (en) * | 2010-04-23 | 2013-06-25 | Telefonaktiebolaget L M Ericsson (Publ) | Efficient encapsulation of packets transmitted on a packet-pseudowire over a packet switched network |
-
2010
- 2010-08-09 US US12/853,006 patent/US8850062B2/en active Active
-
2011
- 2011-07-25 WO PCT/US2011/001308 patent/WO2012021155A1/en active Application Filing
- 2011-07-25 EP EP20110749271 patent/EP2604001B1/en active Active
- 2011-07-25 CN CN201180039396.5A patent/CN103026663B/zh active Active
-
2014
- 2014-09-29 US US14/500,046 patent/US20150085860A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1427581A (zh) * | 2001-12-17 | 2003-07-02 | 阿尔卡塔尔加拿大公司 | 用于在通信网络中检测故障和重新路由连接的系统和方法 |
US7720061B1 (en) * | 2006-08-18 | 2010-05-18 | Juniper Networks, Inc. | Distributed solution for managing periodic communications in a multi-chassis routing system |
Also Published As
Publication number | Publication date |
---|---|
EP2604001A1 (en) | 2013-06-19 |
CN103026663A (zh) | 2013-04-03 |
US20120036279A1 (en) | 2012-02-09 |
EP2604001B1 (en) | 2015-05-20 |
US8850062B2 (en) | 2014-09-30 |
US20150085860A1 (en) | 2015-03-26 |
WO2012021155A1 (en) | 2012-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103026663B (zh) | 分布式连通性验证协议冗余 | |
JP4034782B2 (ja) | リング間接続装置、及びデータ転送制御方法 | |
JP4647835B2 (ja) | 伝送装置及び障害回避方法 | |
CN100512292C (zh) | 一种实时恢复业务的装置及方法 | |
EP2190150B1 (en) | A method, device and system of multi-protocol label exchange traffic engineering flow capacity switch | |
US8335154B2 (en) | Method and system for providing fault detection and notification for composite transport groups | |
EP2319209B1 (en) | Methods for establishing a traffic connection and an associated monitoring connection | |
US7986619B2 (en) | Packet network system | |
US9246793B2 (en) | Network, network fault recovery method, and node device | |
Lai et al. | Network hierarchy and multilayer survivability | |
KR102643187B1 (ko) | 시간 인식 엔드-투-엔드 패킷 흐름 네트워크들에 사이버 보안을 제공하기 위한 방법들 및 디바이스들 | |
EP2424186B1 (en) | Dual-computer hot-standby method, device and system | |
CN109327318B (zh) | 一种sdn管理网络架构和建立sdn管理网络的方法 | |
WO2008046358A1 (fr) | Procédé et dispositif destinés à réaliser une pénétration d'un statut de liaison de réseau point à multipoint | |
EP3182645B1 (en) | Network protection switching method, network device and storage medium | |
US20080205262A1 (en) | Node controller and node system | |
KR102157711B1 (ko) | 통신 네트워크에서 장애 복구 방법 | |
CN102143065A (zh) | 一种故障保护方法及设备 | |
Cavendish et al. | Operation, administration, and maintenance in MPLS networks | |
CN111885630B (zh) | 数据传输方法及通信装置 | |
EP2975809B1 (en) | Providing protection to a service in a communication network | |
CN111865798B (zh) | 一种mpls-tp双归保护主辅节点ac侧消息通信的实现方法及系统 | |
Huang et al. | Key requirements of packet transport network based on MPLS-TP | |
CN116054929A (zh) | 业务保护系统 | |
Lai et al. | RFC3386: Network Hierarchy and multilayer survivability |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |