CN103891216A - 用于结构路径交换网络中n路网关负载平衡的FHRP优化 - Google Patents

用于结构路径交换网络中n路网关负载平衡的FHRP优化 Download PDF

Info

Publication number
CN103891216A
CN103891216A CN201280051108.2A CN201280051108A CN103891216A CN 103891216 A CN103891216 A CN 103891216A CN 201280051108 A CN201280051108 A CN 201280051108A CN 103891216 A CN103891216 A CN 103891216A
Authority
CN
China
Prior art keywords
switch
gateway router
fhrp
link
emulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280051108.2A
Other languages
English (en)
Other versions
CN103891216B (zh
Inventor
拉姆库玛·桑卡尔
纳威恩·裴萨德拉哈利·纳拉扬·高达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN103891216A publication Critical patent/CN103891216A/zh
Application granted granted Critical
Publication of CN103891216B publication Critical patent/CN103891216B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/58—Association of routers
    • H04L45/586—Association of routers of virtual routers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/70—Routing based on monitoring results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/354—Switches specially adapted for specific applications for supporting virtual local area networks [VLAN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/35—Switches specially adapted for specific applications
    • H04L49/356—Switches specially adapted for specific applications for storage area networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/70—Virtual switches

Abstract

公开了用于在结构路径交换系统(FSS)中，诸如大型数据中心中的第2层多路径(L2MP)网络，提供n路网关负载平衡的技术。L2MP网络中的访问交换机可以通过由每个FHRP组的“活动的”网关路由器所发送的FHRP“呼叫”消息来获知仿真交换机ID。进一步地，所述访问交换机可以通过评估由用来构建所述仿真交换机的网关路由器所发送的链路状态消息(例如，IS-IS消息)来获知仿真交换机可通过哪些链路到达。这样做允许所述访问交换机获知仿真交换机的ID和到达仿真交换机可以通过的一组链路，从而允许所述访问交换机使到所述仿真交换机的业务负载平衡。

Description

用于结构路径交换网络中n路网关负载平衡的FHRP优化
技术领域
本公开中所呈现的实施例一般地涉及计算机联网，并且更特别地，涉及包括参与首跳冗余协议(FHRP)组的多个网关的网络环境中的多目的地转发。
背景技术
为了渐进地支持更错综复杂的交换和路径拓扑，数据中心网络已变得日益复杂。例如，第2层多路径网络(L2MP)-有时被称为结构路径交换系统(fabric path switching system，FSS)或数据中心以太网-提供不依靠常规生成树协议切断环路的非阻塞第2层(Layer2)架构。也就是说，不像经典以太网，L2MP可以被配置成在数据链路层(即，在以太网层)的节点之间允许多个路径。替代地，诸如中间系统到中间系统(IS-IS)或开放最短路径优先(OSPF)之类的链路状态协议可以被用来确定用来将分组发送到在L2网络内部的相同目的地的多个无环路的路径。
数据中心以太网可以包括在L2／L3边界处用来朝在数据中心外的目的地转发帧(并且从在数据中心外的目的地接收帧)的网关交换机的集合。这样的网关可以被配置成使用诸如热备用路由器协议(HSRP)或虚拟路由器冗余协议(VRRP)之类的首跳路由协议(FHRP)来提供冗余，并且可以在使用多组FHRP的网关之中实现静态负载平衡。然而，大型数据中心网络可以包括16或甚至32个这样的网关。使用HSRP或VRRP的当前实施方式不度量或者提供当网关被从FHRP组添加(或者去除)时在L2／L3边界处的动态负载平衡。这是因为必须被配置在每个访问交换机上的路径的数目随着每个附加的网关和FHRP组按几何级数地增长。在这样的情况下，每当网关被添加到L2MP网络(或者去除)时重新配置数百条路由条目简直是不切实际的。
附图说明
所以以能够详细地理解本公开的上面记载的特征的方式，通过参考实施例而对上面简要地概括的本公开进行更具体描述，实施例中的一些在附图中被图示。然而，应当注意的是，附图仅图示了本公开的典型实施例并且因此将不被认为限制其范围，因为本公开可以允许其它同等有效的实施例。
图1图示了根据本公开的某些实施例的将经典以太网主机连接到第2层多路径访问交换机的示例网络计算基础设施。
图2是图示了根据本公开的某些实施例的L2MP交换设备的示例的框图。
图3图示了根据本公开的某些实施例的配置图1中首次示出的L2MP访问交换机上的MAC表的示例。
图4图示了根据本公开的某些实施例的配置图1中首次示出的L2MP访问交换机上的交换机表(switch table)的示例。
图5图示了根据本公开的某些实施例的在响应于网关交换机故障而被更新之后的L2MP访问交换机的交换机表的示例。
图6图示了根据本公开的某些实施例用于填充L2MP访问交换机上的MAC表的方法。
图7图示了根据本公开的某些实施例用于填充L2MP访问交换机上的交换机表的方法。
图8图示了根据本公开的某些实施例用于结构路径交换网络中n路(n-way)网关负载平衡的方法。
具体实施方式
概述
一个实施例提供了被配置成在结构路径(fabric path)交换网络中为转发到多个网关的第2层业务提供n路负载平衡的访问交换机。一个实施例包括至少具有处理器和存储器的交换设备，其中所述交换设备被配置成执行用于在结构路径交换网络中执行n路网关负载平衡的操作。操作本身可以一般地包括包含在访问交换机处从网关路由器的首跳路由协议(FHRP)组中的活动网关路由器接收第一网络帧的操作。第一帧可以包括分配给路由器的FHRP组的仿真交换机ID。作为响应，访问交换机将条目添加到介质访问控制(MAC)表，以将与该仿真交换机相关联的MAC地址映射到仿真交换机ID。操作可以进一步包括在访问交换机处从FHRP组中的一个或多个相应的备用网关路由器接收一个或多个链路状态消息，一个或多个第二链路状态消息中的每一个都包括仿真交换机ID。作为响应，针对每个链路状态消息，访问交换机将条目添加到交换机表，通过交换机上的链路可以到达仿真交换机。
在特定实施例中，操作可以进一步包括从附连到访问交换机的主机接收具有仿真交换机的目的地地址的帧。作为响应，访问交换机将从主机接收到的帧转发到网关路由器组中的选定的网关路由器。也就是说，网关路由器被选择来使跨越网关路由器组转发到仿真交换机的帧负载平衡。
示例实施例的描述
本文中所呈现的实施例提供了结构路径交换系统(FSS)中的n路网关负载平衡，所述结构路径交换系统(FSS)诸如大型数据中心中的第2层多路径(L2MP)网络。在一个实施例中，一组网关路由器被配置成提供具有虚拟介质访问控制(MAC)地址／IP地址的仿真交换机。该仿真交换机使用仿真交换机ID来标识。多个仿真交换机可以基于故障域／VLAN其它用户定义的标准而被配置在每个路由器上。作为简单的示例，两个网关路由器能够被配置成提供第一仿真交换机和第二仿真交换机，每个都具有虚拟MAC(VMAC)地址和虚拟IP地址。在这样的情况下，一个FHRP组能够被用来将第一网关路由器指定为对于第一仿真交换机来说是“活动的”。并且另一FHRP组能够被配置在相同的两个网关路由器上，其中第一网关路由器被配置为“备用的”而第二网关路由器对于第二仿真交换机来说是“活动的”。这种配置允许每个网关路由器用作另一网关路由器的故障转移。同时，因为每个仿真交换机对于至少一些业务(例如，不同VLAN的业务)来说是“活动的”，所以基础网关路由器都不处于空闲和未用。也就是说，当每个交换机转发业务时，除了ARP／VIP-ping外在“活动的”路由器与“备用的”路由器之间一般地不存在逻辑差异。
本文中所描述的实施例允许FHRP更完全地以活动-活动模型操作以便充分利用当使用多网关路由器时可用的第2层多路径，并且将负载平衡扩展到所有第3层业务。当然，2个以上的网关路由器可以存在于大型L2MP网络中并且每个都可用于在数据中心中转发任何VLAN的业务。然而，不是要求网络管理员用使到大量网关路由器的业务负载平衡所需的转发设定来手动地配置每个访问交换机-更不用说每当网关路由器被添加、移除或者故障时更新这样的设定-本文中所呈现的实施例提供了用于访问交换机动态地生成使转发到多个网关路由器(以及从多个网关路由器接收)的业务负载平衡所需的L2MP转发表的方法(例如，在具有16或32个(或更多个)网关路由器的大型数据中心部署中)。
在一个实施例中，网络管理员确定FHRP域和每个域的仿真交换机id，以及跨越作为给定仿真交换机的一部分的每个网关路由器来维护这个映射。在一个实施例中，一旦被配置了，活动网关路由器中的FHRP过程就使用仿真交换机ID来通告它本身。也就是说，FHRP域中的活动网关路由器发出用来向一个或多个备用路由器确认“活动的”路由器正在正确地操作的“呼叫”(hello)消息。例如，活动网关路由器可以在MAC-in-MAC分组中使用仿真交换机ID，而不是像当前所做的那样使用实际的路由器交换机ID向包括FHRP路由器组的组播域通告它本身。
进一步地，使用仿真交换机作为用于发送(和接收)第3层业务的“首跳”的访问交换机可以智能地探听从网关路由器发送的链路状态消息(例如，IS-IS或OSPF消息)，以获知访问交换机上的哪些链路可以被用来将业务转发到仿真交换机。这样做允许访问交换机使到所识别的网关(即，到仿真交换机)的业务负载平衡以及动态地确定仿真交换机可以通过哪些交换机链路访问。进一步地，因为负载平衡和路由配置关于用于L2MP帧的MAC-in-MAC分组的外部MAC帧寻址而发生，所以本文中所呈现的实施例允许L2MP和经典以太网网络的互连互通，以及提供具有首跳冗余的经典以太网网络。
注意，以下描述被呈现来使得本领域的普通技术人员能够实现并且使用所提出的技术。特定实施例和应用的描述被提供仅作为示例，并且各种修改对于本领域的技术人员而言将是容易地显而易见的。本文中所描述的通用原理可以在不背离本公开的范围的情况下被应用于其它实施例和应用。因此，本公开将不限于所示出的实施例，而是将符合与本文中所描述的原理和特征一致的最广范围。出于清楚的目的，涉及在与所提出的构思相关的技术领域中已知的技术材料的特征尚未被详细地描述。
图1图示了上面所描述的示例。更具体地，图1图示了根据本公开的某些实施例的将经典以太网(CE)主机1251-2连接到L2MP访问交换机105的网络计算基础设施100。如图所示，访问交换机105被配置成将第一VLAN中的主机(例如，主机1251)的第3层(L3)业务转发到第一仿真交换机(ES1)110并且将第二VLAN中的主机(例如，主机1252)的L3业务转发到第二仿真交换机(ES2)112。
仿真交换机ES1110和ES2112两者都使用第一网关路由器1151和第二网关路由器1152来配置。每个网关路由器115都提供到第3层网络120的相应上行链路(标记为U1和U2)。在这个示例中，第一仿真交换机(ES1)包括作为FHRP组的一部分的两个网关路由器，其中网关路由器1151是活动的并且其中网关路由器1152提供备用故障转移。相反地，对于第二仿真交换机(ES2)，FHRP组被定义，其中网关路由器1152是活动的并且网关路由器1151提供备用故障转移。
进一步地，虽然网关路由器115中的每一个对于一个VLAN来说是“活动的”并且对于另一个来说是“备用的”，但是访问交换机105仍然使VLAN1和VLAN2两者到两个网关路由器115的业务负载平衡。如在下面更详细地描述的那样，访问交换机105可以通过由给定FHRP组的“活动的”网关路由器所发送的FHRP“呼叫”消息来获知仿真交换机ID(ES1和ES2)。进一步地，访问交换机105可以通过评估由网关路由器115所发送的链路状态消息(例如，IS-IS消息)来获知每个仿真交换机可以通过哪些链路到达。组合这两个信息元素允许访问交换机获知仿真交换机的ID和到达仿真交换机可以通过的一组链路，从而允许访问交换机使到仿真交换机的业务负载平衡。
图2是图示了根据本公开的某些实施例的L2MP交换设备200的示例的框图。如图2中所示，交换设备200包括端口205、处理器／固件210、路由／交换逻辑215、管理接口220以及存储器225。并且存储器225包括MAC表(MTB)230、交换机表(STB)235以及配置设定240。在一个实施例中，用户可以使用管理接口220规定用于交换设备的配置设定240。在本公开的上下文中，例如，管理接口220可以被用来启用／禁用L2MP路由以及是否启用／禁用其中一组路由网关被用来为连接到交换设备200的主机提供多个第2层传出路径的结构路径中的n路网关负载平衡。当然，本领域的普通技术人员将认识到，图2中所示出的交换设备200的描绘被简化成使本文中所描述的实施例的方面突出，并且实际上，网络交换／路由设备可以配置有各种附加的功能、特征以及组件。
交换设备200一般地表示在大量主机与到网关设备的一组上行链路之间提供以太网连通性的第2层交换机。在这个示例中，端口205包括L2MP链路201(即，到网关路由器的链路)及经典以太网(CE)链路202。L2MP链路201表示将交换设备200连接到一组网关路由器的物理布线(cabling)并且CE链路202表示将交换设备200连接到主机的集合的物理布线。因此，交换设备200一般地对应于图1的访问交换机105。并且，如上面所描述的那样，L2MP链路202将交换设备200连接到网络结构内的其它交换机(例如，到网关路由器115)，并且CE链路202将交换设备200连接到一组CE主机(例如，主机125)。
处理器／固件210一般地被配置成执行路由／交换逻辑215以评估通过端口205中的一个接收到的网络帧并且选择性地通过交换设备200上的其它端口205来转发这样的帧(或者丢弃它们)。存储器225包括由转发逻辑210和处理器／固件210使用来进行转发判定的各种结构。例如，如图所示，存储器225包括MAC表(MTB)230、交换机表(STB)235以及配置设定240。在一个实施例中，MTB230提供从MAC地址到端口205的映射，通过所述端口205可以到达与该MAC地址相对应的主机。例如，对于常规以太网帧，访问交换机可以通过检查由连接到CE链路202中的一个的主机发送到交换设备200的以太网帧的源地址字段来获知MAC地址与端口205之间的关联。类似地，由网关路由器所发送的MAC帧可以包括该路由器的实际MAC地址，或者当网关路由器被配置为仿真交换机的一部分时包括虚拟MAC地址。对于可以包括外部MAC报头(header)和内部MAC报头两者的L2MP帧，MTB230中的条目可以提供在L2MP帧的外部源地址中所标识的MAC地址与拥有该MAC地址的结构路径中的交换实体之间的映射。例如，在本公开的上下文中，MTB230中的条目可以提供与仿真交换机相关联的虚拟MAC地址与用于该仿真交换机的交换机ID之间的映射。
当列举虚拟MAC地址作为目的地的帧(无论CE帧还是L2MP帧)被接收到时，MTB230然后被用来确定这样的帧应该被转发到在MTB230中标识的交换实体(例如，这样的帧应该被转发到仿真交换机)。进一步地，可以在交换机表(STB)235中标识到达经标识的交换实体所通过的链路。更具体地，STB235可以包括结构路径中的一个或多个交换机与到达交换实体所通过的端口205之间的映射。在一个实施例中，当交换实体可通过多个链路到达时，交换设备200可以被配置成通过可用的链路使业务负载平衡。这样的负载平衡可以相对同等地分发业务，但还能够优于另一链路而偏爱某一条链路(例如，在其中一条链路具有已知较大的容量或带宽的情况下)。
如所指出的那样，不是要求网络管理员在MTB和STB中填充提供n-网关负载平衡所需的条目，而是在一个实施例中，访问交换机可以被配置成通过智能地监控FHRP组消息(典型地被发送到包括分配给FHRP组的每个交换机的组播目的地)和用来确定无环路的路由拓扑(包括在两个第2层实体之间具有多个路径的路由拓扑)的链路状态消息来获知这个信息。用于访问交换机200填充MTB230和STB的过程在图3和4中被进一步示出了。
首先，图3图示了根据本公开的某些实施例的配置图1中首次示出的L2MP访问交换机105上的MAC表的示例。在一个实施例中，FHRP组110被配置在指定成为用于访问交换机105的首跳网关的网关路由器1151-2上。用作说明地，网关路由器1151被指定对于FHRP组110来说为“活动的”并且网关路由器1152被指示对于FHRP组110来说为“备用的”。附加地，仿真交换机id被分配给FHRP组110中的每个网关路由器115。更一般地，可以在每网关、每交换机虚拟接口(SVI)或每组基础上分配仿真交换机id。在这个示例中，“ES1”的交换机ID已经被分配给网关路由器1151和网关路由器1152两者。进一步地，多个FHRP组110可以被配置在网关路由器115上，每个都指定不同的“活动的”路由器和一个或多个“备用的”路由器组。在这样的情况下，可以针对网关路由器被分配给的每个FHRP组将不同的仿真交换机ID分配给每个网关路由器115。
如图所示，访问交换机105从被从活动网关路由器1151发送到访问交换机105的FHRP呼叫分组310获知MTB表中的条目305“VMAC，ES1”。在一个实施例中，FHRP呼叫分组310被作为具有引用仿真交换机ID(即，在这个示例中引用“ES1”)的外部MAC源地址的“MAC-in-MAC”分组发送。“MC”或组播的外部目的地地址导致访问交换机105将呼叫分组310转发到FHRP组110中的一个或多个备用主机。在图3的示例中，访问交换机105将FHRP呼叫分组310转发到网关路由器1152(作为FHRP组110的备用设备)。更一般地，由于周期性的呼叫分组的缘故，边缘交换机获知“虚拟MAC”可经由分配给发送呼叫分组的路由器的“仿真交换机id”到达的可达性。
此外，当主机A125首先出现时，它可以发送ARP请求来获知与默认网关的IP地址相对应的MAC地址。在一个实施例中，仅FHRP110组的“活动的”路由器对ARP请求做出响应。进一步地，这样的响应可以标识与仿真交换机(ES1)相关联的虚拟MAC地址。这样做允许附连到访问交换机105的CE主机(例如，主机125)获知VMAC地址以用作转发到默认网关的帧的目的地地址。
图4图示了根据本公开的某些实施例的配置图1中首次示出的L2MP访问交换机105上的交换机表(STB)的示例。如所指出的那样，分配给FHRP组的网关路由器每个都分配了仿真交换机ID，并且该访问交换机从由FHRP组中的活动网关路由器所发送的呼叫分组中获知仿真交换机ID。
在一个实施例中，访问交换机105可以被配置成智能地监控链路状态协议消息以获知通过什么链路可到达仿真交换机ID(通过FHRP呼叫消息获知)。例如，网关路由器1151-2可以被配置成使用链路状态协议(例如，IS-IS或OSPF)来从作为仿真交换机的一部分的路由网关(即，作为FHRP组的一部分的路由网关)中的每一个通告仿真交换机id(ES1)的可达性。因此，如图所示，网关路由器1151发送IS-IS消息4051并且访问交换机105获知仿真交换机id(ES1)可以通过链路1(L1)到达。类似地，网关路由器1152发送IS-IS消息4052并且访问交换机105获知仿真交换机(ES1)还可以通过链路2(L2)到达。结果，交换机表包括指示仿真交换机可通过链路1和链路2两者到达的条目410“ES1，L1，L2”。
一旦访问交换机105获知到达仿真交换机能够通过的链路，访问交换机105然后就能够使以太网帧负载平衡。在示例图4中，具有“VMAC”的目的地地址的帧可以通过链路1(L1)和链路2(L2)被负载平衡。更一般地，能够针对和存在于数据中心以太网中一样多的网关在L2／L3边界处实现负载平衡。
然而，如果网关路由器115中的一个上的上行链路故障，则出现问题。在这样的情况下，发送到该网关路由器115的业务事实上进入了黑洞。如果交换机上给定SVI上的一个FHRP组故障或者被去除，则相同情形发生。当访问交换机105基于外部MAC目的地地址(即，基于作为仿真交换机id的目的地地址)或者基于VMAC的CE帧目的地地址进行转发判定时，此情形发生。只要对应链路是可到达的，访问交换机将继续通过该链路使业务负载平衡。
为了检测错误配置，参与一个(或多个)FHRP或者配置有SVI的每个网关侦听来自其它网关的FHRP呼叫。基于在VLAN／组上所接收到的呼叫消息，并且基于本地配置，网关可以确定失配是否存在。也就是说，网关路由器115中的一个可以确定它是否可以接收不能够被转发到其目的地的业务。在失配情况下，路由网关可以撤销与受影响的SVI或FHRP组相对应的仿真交换机成员身份。一旦不一致性被清除了，网关路由器就可以登记回具有仿真交换机成员身份。注意，“撤销”和“登记”仿真交换机成员身份可以使用在L2MP中用于通告交换机id可达性的已经存在的ISIS协议来实现。
例如，在一个实施例中，当本地交换机／路由器接收具有未配置在本地系统中的FHRP组号的HSRP呼叫分组时，该交换机／路由器可以断定路由器／交换机已配置有不存在于本地系统中的组号。这可以将属于该特定组的业务进入黑洞。因此，在这个阶段，交换机被从仿真交换机去除。一个或多个跟踪或状态对象能够与FHRP组相关联。无论何时只要跟踪对象故障，我们就用与跟踪对象相关联的递减优先级来递减组的优先级。当优先级下降至配置的较低阈值以下时，本地交换机被从仿真交换机退出，从而断定交换机将不能够通过上行链路转发数据业务。当被跟踪对象开始备份时，则优先级将增加并且一旦优先级越过上阈值，则交换机就被添加回到仿真交换机。
图5图示了根据本公开的某些实施例的在响应于网关交换机故障而被更新之后的L2MP访问交换机105的交换机表的示例。如图所示，网关路由器1152上到L3网络120的上行链路已经出现故障。结果，网关路由器1152确定它需要从仿真交换机ES1退出并且通过发送宣称其退出的IS-IS消息515来这样做。进而，访问交换机105修改交换机表(STB)中的条目520以移除仿真交换机ES1可通过链路2(L2)到达的指示。
因此，当访问交换机105接收到地址为仿真交换机的虚拟MAC地址的帧时，它不再通过链路1(L1)和链路2(L2)两者使这样的帧负载平衡。例如，当CE主机(例如，主机125)将具有VMAC的目的地地址的MAC帧505转发到访问交换机105时，访问交换机105用指示访问交换机105的源地址“AC1”和仿真交换机的(即，ES1的)目的地地址的外部MAC报头510来包装帧505。然而，当STB中到仿真交换机的唯一链路是L1时，用来将帧发送到仿真交换机的唯一链路是L1。一旦网关路由器1152上到L3网络120的上行链路被恢复了，则网关路由器1152就可以重新登记在仿真交换机中，从而导致访问交换机105恢复指示仿真交换机通过链路2(L2)的可达性的STB中的条目。
图6图示了根据本公开的某些实施例用于填充L2MP访问交换机上的MAC表的方法600。如图所示，方法600在步骤605处开始，在该步骤，在数据中心以太网网络内的访问交换机或边缘交换机从参与FHRP组的网关交换机接收FHRP呼叫消息。在一个实施例中，可以根据已知的热备用路由器协议(HSRP)或者根据虚拟路由器冗余协议(VRRP)来配置呼叫消息。然而，当其它FHRP协议变得可用时，实施例可以被适配以用于其它FHRP协议。附加地，在一个实施例中，虽然给定网关路由器可以参与多个FHRP组(和仿真交换机)，但是仅对于给定FHRP组配置为“活动的”网关路由器的网关路由器发送呼叫消息。
在步骤610处，访问交换机识别分配给由参与FHRP组的网关路由器配置的仿真交换机的仿真交换机ID。例如，可以根据用来发送呼叫消息的MAC-in-MAC分组的外部源地址字段来确定仿真交换机ID。在步骤615处，访问交换机将仿真交换机ID添加到MAC表(MTB)。也就是说，访问交换机在MAC表中创建条目，以将虚拟MAC地址映射到仿真交换机ID。在步骤620处，访问交换机将呼叫消息转发到在外部MAC-in-MAC报头的外部目的地地址字段中标识的组播目的地地址。也就是说，访问交换机根据FHRP协议转发呼叫消息，如在没有在MTB表中创建条目的额外处理的情况下发生的那样。
图7图示了根据本公开的某些实施例用于填充L2MP访问交换机上的交换机表的方法700。如图所示，方法700在步骤705处开始，在该步骤，访问交换机从网关路由器接收链路状态协议消息。如所指出的那样，可以根据IS-IS或OSPF链路状态协议来配置链路状态协议消息。然而，当其它链路状态协议变得可用时，实施例可以被适配以用于其它链路状态协议。在步骤710处，访问交换机将指示仿真交换机通过访问交换机上的链路中的一个的可达性的条目添加到交换机表。可替代地，如果IS-IS消息指示网关路由器正从仿真交换机退出，交换机表可以被更新以去除提供到仿真交换机的可达性的适当的链路。
在步骤715处，访问交换机根据正被使用的链路状态协议和特定消息的内容来转发链路状态消息。注意，可以针对在给定FHRP组中包括的每个网关路由器执行步骤705、710、715。并且进一步地，可以在给定FHRP组中的路由器改变时(要么基于路由器被添加到FHRP组或者从FHRP组去除，要么在给定路由器在链路故障的基础上选择从FHRP组退出时)动态地执行步骤705、710、715。
图8图示了根据本公开的某些实施例的用于结构路径交换网络中的n路网关负载平衡的方法800。方法800假定访问交换机已根据上面所描述的方法被配置了。如图所示，方法800在步骤805处开始，在该步骤，访问交换机从附连的主机接收帧。如所指出的那样，例如，访问交换机可以将多个经典以太网(CE)主机连接到由多个网关路由器构建的仿真交换机本身。在步骤810处，访问交换机识别所接收到的帧中的目的地地址。也就是说，访问交换机识别在所接收到的帧中的MAC报头的目的地地址字段中的MAC地址。在步骤815处，访问交换机确定目的地地址是否指示接收到的帧是否应该被转发到仿真交换机。例如，使用上面所讨论的网络拓扑，访问交换机105确定所接收到的帧是否具有“VMAC”的目的地地址。
如果目的地地址是已连接主机的另一主机(例如，连接到访问交换机的另一CE主机)，则访问交换机通过可以到达目的地地址的链路来转发帧(步骤820)。否则，在步骤825处，如果目的地地址指示在数据中心以太网或结构路径网络内的目的地(例如，分配给仿真交换机的虚拟MAC地址的目的地地址)，则访问交换机用外部MAC报头来包装帧(创建MAC-in-MAC帧)。其它MAC帧报头包括访问交换机的源地址和仿真交换机的目的地地址。附加地，访问交换机可以通过评估列举了到达仿真交换机可以通过的一个或多个链路的交换机表来选择链路。如果到仿真交换机的多个链路在交换机表中，则访问交换机可以以通过每个可用链路使交换机负载平衡的方式来选择一个。如所指出的那样，负载平衡可以相对同等地将业务分发给每个链路，但还能够优于另一链路而偏爱某一链路(例如，在一个链路具有已知较大的容量或带宽的情况下)。在步骤830中，访问交换机通过所选链路转发MAC-in-MAC帧。
有利地，上面所描述的示例实施例提供了用于结构路径交换系统(FSS)中的n路网关负载平衡，所述结构路径交换系统诸如大型数据中心中的第2层多路径(L2MP)网络。如上面所描述的那样，L2MP网络中的访问交换机可以通过由每个FHRP组的“活动的”网关路由器所发送的FHRP“呼叫”消息来获知仿真交换机ID。进一步地，访问交换机可以通过评估由用来构建仿真交换机的网关路由器所发送的链路状态消息(例如，IS-IS消息)来获知通过哪些链路可到达仿真交换机。这样做允许访问交换机获知仿真交换机的ID和到达仿真交换机所通过的一组链路，从而允许访问交换机使到仿真交换机的业务负载平衡。
虽然上文针对示例性实施例，但是其它和另外的实施例可以在不背离其基本范围的情况下被设计。例如，本公开的一些方面可以用硬件或软件或者用硬件和软件的组合加以实现。本公开的一个实施例可以被实现为用于与计算机系统一起使用的程序产品。程序产品的程序定义实施例的功能(包括本文中所描述的方法)并且能够被包含在各种计算机可读存储介质上。说明性计算机可读存储介质包括但不限于：(i)信息被永久地存储在其上的非可写存储介质(例如，诸如可由CD-ROM驱动器读取的CD-ROM磁盘之类的计算机内的只读存储器设备、闪速存储器、ROM芯片或任何类型的固态非易失性半导体存储器)；以及(ii)可改变的信息被存储在其上的可写存储介质(例如，软磁盘驱动器或硬盘驱动器内的软盘或任何类型的固态随机存取半导体存储器)。这样的计算机可读存储介质当承载引导本公开的功能的计算机可读指令时，是本公开的实施例。
鉴于上文，本公开的范围由以下权利要求来确定。

Claims (20)

1.一种方法，包括：
在访问交换机处，从网关路由器的首跳路由协议FHRP组中的活动网关路由器接收第一网络帧，其中所述帧包括分配给路由器的所述FHRP组的仿真交换机ID；
将条目添加到所述访问交换机上的介质访问控制MAC表，以将与所述仿真交换机相关联的MAC地址映射到所述仿真交换机ID；
在所述访问交换机处，从所述FHRP组中的一个或多个相应的备用网关路由器接收一个或多个链路状态消息，其中所述一个或多个第二链路状态消息中的每一个都包括所述仿真交换机ID；以及
针对每个链路状态消息，向交换机表添加条目，所述条目指示到达所述仿真交换机能够通过的所述访问交换机上的链路。
2.根据权利要求1所述的方法，进一步包括：
从附连到所述访问交换机的主机接收具有所述仿真交换机的目的地地址的帧；以及
将从所述主机接收到的所述帧转发到所述网关路由器组中选择的网关路由器，其中所述网关路由器被选择来使跨越所述网关路由器组转发到所述仿真交换机的帧负载平衡。
3.根据权利要求2所述的方法，进一步包括：
在将从所述主机接收到的所述帧转发到所述选择的网关路由器之前，用外部MAC报头来封装所述网络帧，其中所述外部MAC报头包括与所述访问交换机相关联的源地址和与所述仿真交换机相关联的目的地地址。
4.根据权利要求1所述的方法，进一步包括：
从所述网关路由器中的给定网关路由器接收指示所述给定网关路由器正从所述FHRP组退出的第二链路状态消息；以及
去除指示所述仿真交换机能够通过与所述给定网关路由器相对应的所述链路到达的所述交换机表中的所述条目。
5.根据权利要求1所述的方法，其中所述FHRP协议包括热备用路由器协议HSRP或虚拟路由器冗余协议VRRP中的一个。
6.根据权利要求1所述的方法，其中所述链路状态协议是中间系统到中间系统IS-IS。
7.根据权利要求1所述的方法，其中多个FHRP组被配置在所述网关路由器组上，并且其中每组分配了不同的仿真交换机ID。
8.一种存储用于供中央处理单元CPU执行的代码的计算机可读存储介质，其中所述代码当被所述CPU执行时，执行用于在结构路径交换网络中执行n路网关负载平衡的操作，所述操作包括：
在访问交换机处，从网关路由器的首跳路由协议FHRP组中的活动网关路由器接收第一网络帧，其中所述帧包括分配给路由器的所述FHRP组的仿真交换机ID；
将条目添加到所述访问交换机上的介质访问控制MAC表，以将与所述仿真交换机相关联的MAC地址映射到所述仿真交换机ID；
在所述访问交换机处，从所述FHRP组中的一个或多个相应的备用网关路由器接收一个或多个链路状态消息，其中所述一个或多个第二链路状态消息中的每一个都包括所述仿真交换机ID；以及
针对每个链路状态消息，向交换机表添加条目，所述条目指示到达所述仿真交换机能够通过的所述访问交换机上的链路。
9.根据权利要求8所述的计算机可读存储介质，其中所述操作进一步包括：
从附连到所述访问交换机的主机接收具有所述仿真交换机的目的地地址的帧；以及
将从所述主机接收到的所述帧转发到所述网关路由器组中选择的网关路由器，其中所述网关路由器被选择来使跨越所述网关路由器组转发到所述仿真交换机的帧负载平衡。
10.根据权利要求9所述的计算机可读存储介质，其中，所述操作进一步包括：
在将从所述主机接收到的所述帧转发到所述选择的网关路由器之前，用外部MAC报头来封装所述网络帧，其中所述外部MAC报头包括与所述访问交换机相关联的源地址和与所述仿真交换机相关联的目的地地址。
11.根据权利要求8所述的计算机可读存储介质，其中所述操作进一步包括：
从所述网关路由器中的给定网关路由器接收指示所述给定网关路由器正从所述FHRP组退出的第二链路状态消息；以及
去除指示所述仿真交换机能够通过与所述给定网关路由器相对应的所述链路到达的所述交换机表中的所述条目。
12.根据权利要求8所述的计算机可读存储介质，其中所述FHRP协议包括热备用路由器协议HSRP或虚拟路由器冗余协议VRRP中的一个。
13.根据权利要求8所述的计算机可读存储介质，其中多个FHRP组被配置在所述网关路由器组上，并且其中每组分配了不同的仿真交换机ID。
14.一种系统，包括：
至少包括处理器和存储器的交换设备，其中所述交换设备被配置成执行用于在结构路径交换网络中执行n路网关负载平衡的操作，所述操作包括：
在访问交换机处，从网关路由器的首跳路由协议FHRP组中的活动网关路由器接收第一网络帧，其中所述帧包括分配给路由器的所述FHRP组的仿真交换机ID；
将条目添加到所述访问交换机上的介质访问控制MAC表，以将与所述仿真交换机相关联的MAC地址映射到所述仿真交换机ID；
在所述访问交换机处，从所述FHRP组中的一个或多个相应的备用网关路由器接收一个或多个链路状态消息，其中所述一个或多个第二链路状态消息中的每一个都包括所述仿真交换机ID；以及
针对每个链路状态消息，向交换机表添加条目，所述条目指示到达所述仿真交换机能够通过的所述访问交换机上的链路。
15.根据权利要求14所述的系统，其中所述操作进一步包括：
从附连到所述访问交换机的主机接收具有所述仿真交换机的目的地地址的帧；以及
将从所述主机接收到的所述帧转发到所述网关路由器组中选择的网关路由器，其中所述网关路由器被选择来使跨越所述网关路由器组转发到所述仿真交换机的帧负载平衡。
16.根据权利要求15所述的系统，其中所述操作进一步包括：
在将从所述主机接收到的所述帧转发到所述选择的网关路由器之前，用外部MAC报头来封装所述网络帧，其中所述外部MAC报头包括与所述访问交换机相关联的源地址和与所述仿真交换机相关联的目的地地址。
17.根据权利要求14所述的系统，其中，所述操作进一步包括：
从所述网关路由器中的给定网关路由器接收指示所述给定网关路由器正从所述FHRP组退出的第二链路状态消息；以及
去除指示所述仿真交换机能够通过与所述给定网关路由器相对应的所述链路到达的所述交换机表中的所述条目。
18.根据权利要求14所述的系统，其中所述FHRP协议包括热备用路由器协议HSRP或虚拟路由器冗余协议VRRP中的一个。
19.根据权利要求14所述的系统，其中所述链路状态协议是中间系统到中间系统IS-IS。
20.根据权利要求14所述的系统，其中多个FHRP组被配置在所述网关路由器组上，并且其中每组分配了不同的仿真交换机ID。
CN201280051108.2A 2011-10-18 2012-10-18 结构路径交换网络中网关负载平衡的fhrp优化的方法和系统 Expired - Fee Related CN103891216B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
IN2986DE2011 2011-10-18
IN2986/DEL/2011 2011-10-18
US13/331,626 US8717888B2 (en) 2011-10-18 2011-12-20 Optimizations for N-way gateway load balancing in fabric path switching networks
US13/331,626 2011-12-20
PCT/US2012/060792 WO2013059440A1 (en) 2011-10-18 2012-10-18 Fhrp optimizations for n-way gateway load balancing in fabric path switching networks

Publications (2)

Publication Number Publication Date
CN103891216A true CN103891216A (zh) 2014-06-25
CN103891216B CN103891216B (zh) 2016-11-02

Family

ID=48085913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280051108.2A Expired - Fee Related CN103891216B (zh) 2011-10-18 2012-10-18 结构路径交换网络中网关负载平衡的fhrp优化的方法和系统

Country Status (4)

Country Link
US (1) US8717888B2 (zh)
EP (1) EP2769515B1 (zh)
CN (1) CN103891216B (zh)
WO (1) WO2013059440A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270280A (zh) * 2014-09-02 2015-01-07 烽火通信科技股份有限公司 在路由器上实现LSP ping和tracert的系统及方法
CN105813055A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 基于ip的漫游方法和装置
CN112840625A (zh) * 2018-08-23 2021-05-25 阿尔库斯有限公司 网络计算环境中的第一跳迁网关冗余
CN113114569A (zh) * 2020-01-10 2021-07-13 北京京东尚科信息技术有限公司 数据流卸载的方法和装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8681802B2 (en) 2011-08-15 2014-03-25 Cisco Technology, Inc. Proxy FHRP for anycast routing service
US8923296B2 (en) * 2012-02-23 2014-12-30 Big Switch Networks, Inc. System and methods for managing network packet forwarding with a controller
US9077562B2 (en) 2012-06-08 2015-07-07 Cisco Technology, Inc. System and method for layer-2 multicast multipathing
US9455948B2 (en) 2012-06-29 2016-09-27 Cisco Technology, Inc. Reducing proliferation of network-to-link-layer address resolution messages
US9178837B2 (en) 2012-07-17 2015-11-03 Cisco Technology, Inc. System and method for layer-2 network routing
CN102769568B (zh) * 2012-07-19 2015-10-21 中兴通讯股份有限公司 一种基于虚拟交换集群的流量转发方法及系统
US9008095B2 (en) 2012-10-02 2015-04-14 Cisco Technology, Inc. System and method for hardware-based learning of internet protocol addresses in a network environment
US8948181B2 (en) * 2012-10-23 2015-02-03 Cisco Technology, Inc. System and method for optimizing next-hop table space in a dual-homed network environment
TW201421232A (zh) * 2012-11-19 2014-06-01 Ibm 在一冗餘群組中實施故障備援的方法、裝置與電腦程式產品
US9253140B2 (en) 2012-11-20 2016-02-02 Cisco Technology, Inc. System and method for optimizing within subnet communication in a network environment
CN103873368B (zh) * 2012-12-11 2017-09-15 新华三技术有限公司 以太网报文转发方法和接入设备
US9559962B2 (en) * 2013-01-22 2017-01-31 Brocade Communications Systems, Inc. Optimizing traffic flows via dynamic routing protocol modifications when using server virtualization with dynamic routing
US9088438B2 (en) 2013-01-29 2015-07-21 Cisco Technology, Inc. Using Ethernet ring protection switching with computer networks
CN104601346B (zh) 2013-10-30 2018-09-11 联想企业解决方案（新加坡）私人有限公司 管理交换机的网络连接的方法和装置
US9497104B2 (en) * 2014-01-14 2016-11-15 Cisco Technology, Inc. Dynamic update of routing metric for use in routing return traffic in FHRP environment
JP6211975B2 (ja) * 2014-03-27 2017-10-11 株式会社日立製作所 ネットワーク延伸システム、制御装置、およびネットワーク延伸方法
US9729498B2 (en) * 2014-05-21 2017-08-08 Alcatel Lucent Distributed address resolution protocol forwarding
US10033666B2 (en) * 2016-06-28 2018-07-24 Intel Corporation Techniques for virtual Ethernet switching of a multi-node fabric
US10892992B2 (en) 2016-07-01 2021-01-12 Hewlett Packard Enterprise Development Lp Load balancing
CN107948086A (zh) * 2016-10-12 2018-04-20 北京金山云网络技术有限公司 一种数据包发送方法、装置及混合云网络系统
US20240073131A1 (en) * 2022-08-25 2024-02-29 Keysight Technologies, Inc. Methods, systems, and computer readable media for implementing routing path groups between emulated switches

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005452A (zh) * 2006-12-22 2007-07-25 华为技术有限公司 一种在ip设备之间进行通信的方法和系统
CN101601232A (zh) * 2007-02-02 2009-12-09 思科技术公司 三层任播寻址
US20100098082A1 (en) * 2008-10-16 2010-04-22 Rangaprasad Sampath Method for application broadcast forwarding for routers running redundancy protocols
CN101816168A (zh) * 2007-10-02 2010-08-25 爱立信电话股份有限公司 Vrrp和学习网桥cpe

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010048661A1 (en) * 2000-05-24 2001-12-06 David Clear Method and apparatus for multi-protocol redundant router protocol support
US20020176363A1 (en) * 2001-05-08 2002-11-28 Sanja Durinovic-Johri Method for load balancing in routers of a network using overflow paths
US7716366B2 (en) * 2003-04-28 2010-05-11 Alcatel-Lucent Usa Inc. Enhancement of VRRP interface and router selection where an non-owner router is configured to respond to control and management messages addressed to an address associated with the virtual redundant router
US8014290B2 (en) * 2003-10-17 2011-09-06 Hewlett-Packard Development Company, L.P. Traffic flow management through a multipath network
US7903647B2 (en) * 2005-11-29 2011-03-08 Cisco Technology, Inc. Extending sso for DHCP snooping to two box redundancy
KR20080084163A (ko) * 2007-03-15 2008-09-19 삼성전자주식회사 시스템 이중화된 네트워크상에서 Ｎｏｎｓｔｏｐ 패킷포워딩 방법 및 라우터
US8077709B2 (en) * 2007-09-19 2011-12-13 Cisco Technology, Inc. Redundancy at a virtual provider edge node that faces a tunneling protocol core network for virtual private local area network (LAN) service (VPLS)
US8315157B2 (en) * 2008-07-02 2012-11-20 Cisco Technology, Inc. Graceful removal and/or insertion of a network element
US8166187B2 (en) * 2009-01-28 2012-04-24 Cisco Technology, Inc. Distributed IP gateway based on sharing a MAC address and IP address concurrently between a first network switching device and a second network switching device
US8848508B2 (en) * 2009-11-16 2014-09-30 Cisco Technology, Inc. Method for the provision of gateway anycast virtual MAC reachability in extended subnets

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005452A (zh) * 2006-12-22 2007-07-25 华为技术有限公司 一种在ip设备之间进行通信的方法和系统
CN101601232A (zh) * 2007-02-02 2009-12-09 思科技术公司 三层任播寻址
CN101816168A (zh) * 2007-10-02 2010-08-25 爱立信电话股份有限公司 Vrrp和学习网桥cpe
US20100098082A1 (en) * 2008-10-16 2010-04-22 Rangaprasad Sampath Method for application broadcast forwarding for routers running redundancy protocols

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270280A (zh) * 2014-09-02 2015-01-07 烽火通信科技股份有限公司 在路由器上实现LSP ping和tracert的系统及方法
CN104270280B (zh) * 2014-09-02 2017-11-07 烽火通信科技股份有限公司 在路由器上实现LSP ping和tracert的系统及方法
CN105813055A (zh) * 2014-12-30 2016-07-27 华为技术有限公司 基于ip的漫游方法和装置
CN105813055B (zh) * 2014-12-30 2019-02-12 华为技术有限公司 基于ip的漫游方法和装置
CN112840625A (zh) * 2018-08-23 2021-05-25 阿尔库斯有限公司 网络计算环境中的第一跳迁网关冗余
CN112840625B (zh) * 2018-08-23 2024-02-20 阿尔库斯有限公司 网络计算环境中的第一跳迁网关冗余
CN113114569A (zh) * 2020-01-10 2021-07-13 北京京东尚科信息技术有限公司 数据流卸载的方法和装置
CN113114569B (zh) * 2020-01-10 2023-06-02 北京京东尚科信息技术有限公司 数据流卸载的方法和装置

Also Published As

Publication number Publication date
CN103891216B (zh) 2016-11-02
EP2769515A1 (en) 2014-08-27
WO2013059440A1 (en) 2013-04-25
EP2769515B1 (en) 2016-10-05
US8717888B2 (en) 2014-05-06
US20130094357A1 (en) 2013-04-18

Similar Documents

Publication Publication Date Title
CN103891216A (zh) 用于结构路径交换网络中n路网关负载平衡的FHRP优化
US20210390000A1 (en) Loop conflict avoidance in a network computing environment
CN110166356B (zh) 发送报文的方法和网络设备
US10666563B2 (en) Buffer-less virtual routing
US11431554B2 (en) Mechanism for control message redirection for SDN control channel failures
US7751329B2 (en) Providing an abstraction layer in a cluster switch that includes plural switches
US9781032B1 (en) MPLS label usage in ethernet virtual private networks
US9787573B2 (en) Fast convergence on link failure in multi-homed Ethernet virtual private networks
US9019814B1 (en) Fast failover in multi-homed ethernet virtual private networks
US8817593B2 (en) Method and apparatus providing failover for a point to point tunnel for wireless local area network split-plane environments
EP2533475B1 (en) Method and system for host route reachability in packet transport network access ring
EP3820089A1 (en) Controller provided protection paths
CN112262549A (zh) 用于sdn控制器集群的稳健的节点故障检测机制
US9391872B2 (en) Route topology discovery in data networks
US10447581B2 (en) Failure handling at logical routers according to a non-preemptive mode
WO2021042674A1 (zh) 一种端口状态的配置方法及网络设备
US20150036508A1 (en) Method and Apparatus For Gateway Selection In Multilevel SPB Network
US8000252B1 (en) Multi-path network element monitoring

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161102

Termination date: 20211018

CF01 Termination of patent right due to non-payment of annual fee