CN116155795A - 路由更新方法及装置 - Google Patents
路由更新方法及装置 Download PDFInfo
- Publication number
- CN116155795A CN116155795A CN202310368453.9A CN202310368453A CN116155795A CN 116155795 A CN116155795 A CN 116155795A CN 202310368453 A CN202310368453 A CN 202310368453A CN 116155795 A CN116155795 A CN 116155795A
- Authority
- CN
- China
- Prior art keywords
- route
- group
- path
- transmission link
- updating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/028—Dynamic adaptation of the update intervals, e.g. event-triggered updates
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/02—Topology update or discovery
- H04L45/04—Interdomain routing, e.g. hierarchical routing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/24—Multipath
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/28—Routing or path finding of packets in data switching networks using route fault recovery
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开关于一种路由更新方法及装置。路由更新方法包括:接收路由更新消息,其中,路由更新消息指示了交换机中传输链路发生故障的出接口;确定传输链路发生故障的出接口所在的等价多路径路由组;将传输链路发生故障的出接口从等价多路径路由组中删除。
Description
技术领域
本公开涉及通信领域,尤其涉及一种路由更新方法及装置。
背景技术
在现网中常会发生重启系统(reboot),掉电,一键隔离,端口震荡等情况,这些情况会导致一些交换机的等价多路径路由(Equal Cost Multi-path,缩写为ECMP)组成员发生变化,因此需要对相应的路由进行更新。当一个交换机接收到路由更新消息的时候,系统需要构建本交换机的路由更新内容、并将路由更新内容下发到该交换机,直到所有的路由更新完毕。而现有系统对路由的更新是一条路由一条路由依次进行的,如果有大量的路由需要更新情况,系统的整个收敛时间就会比较长,使得长时间没有来得及更新的路由产生丢包问题。
发明内容
本公开提供一种路由更新方法及装置,以至少解决相关技术的路由更新过程中,由于长时间没有来得及更新的路由产生丢包的问题。
根据本公开实施例的第一方面,提供一种路由更新方法,包括:接收路由更新消息,其中,路由更新消息指示了交换机中传输链路发生故障的出接口;确定传输链路发生故障的出接口所在的等价多路径路由组;将传输链路发生故障的出接口从等价多路径路由组中删除。
可选地,在将传输链路发生故障的出接口从等价多路径路由组中删除之后,还包括:依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,其中,新等价多路径路由组与删除处理后的等价多路径路由组相同,且,所有路由中未完成更新的路由,采用删除处理后的等价多路径路由组继续传输数据,直至所有路由中未完成更新的路由完成关系更新。
可选地,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,包括:对于所有路由中每个路由,通过如下操作将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系:将路由更新到数据库;在数据库存在路由的情况下,检查新等价多路径路由组是否已经存在;在新等价多路径路由组不存在的情况下,创建新等价多路径路由组;将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系;在新等价多路径路由组存在的情况下,将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系。
可选地,创建新等价多路径路由组,包括:基于数据库中路由的相关信息,创建新等价多路径路由组,其中,相关信息包括路由的下一跳和下一跳在交换机中对应的无故障的出接口。
可选地,交换机中传输链路发生故障的出接口包括出接口本身出现故障导致传输链路发生故障的出接口和/或下一跳发生变化导致传输链路发生故障的出接口。
可选地,确定传输链路发生故障的出接口所在的等价多路径路由组,包括:将传输链路发生故障的出接口写入数据库;响应于数据库的变化,确定传输链路发生故障的出接口所在的等价多路径路由组。
可选地,将传输链路发生故障的出接口从等价多路径路由组中删除,包括:通过交换机抽象接口的删除调用,将传输链路发生故障的出接口从等价多路径路由组中删除。
根据本公开实施例的第二方面,提供一种路由更新系统,包括:边界网关协议容器,边界网关协议容器包括边界网管协议单元、交换状态服务单元,其中,边界网管协议单元接收路由更新消息,其中,路由更新消息指示了交换机中传输链路发生故障的出接口;交换状态服务单元确定传输链路发生故障的出接口所在的等价多路径路由组;将传输链路发生故障的出接口从等价多路径路由组中删除。
可选地,在将传输链路发生故障的出接口从等价多路径路由组中删除之后,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,其中,新等价多路径路由组与删除处理后的等价多路径路由组相同,且,所有路由中未完成更新的路由,采用删除处理后的等价多路径路由组继续传输数据,直至所有路由中未完成更新的路由完成关系更新。
可选地,边界网关协议容器还包括路由管理器,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,包括:对于所有路由中每个路由,路由管理器通过如下操作将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系:路由管理器将路由更新到数据库;在数据库存在路由的情况下,交换状态服务单元检查新等价多路径路由组是否已经存在;在新等价多路径路由组不存在的情况下,交换状态服务单元创建新等价多路径路由组;将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系;在新等价多路径路由组存在的情况下,交换状态服务单元将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系。
可选地,创建新等价多路径路由组,包括:交换状态服务单元基于数据库中路由的相关信息,创建新等价多路径路由组,其中,相关信息包括路由的下一跳和下一跳在交换机中对应的无故障的出接口。
可选地,交换机中传输链路发生故障的出接口包括出接口本身出现故障导致传输链路发生故障的出接口和/或下一跳发生变化导致传输链路发生故障的出接口。
可选地,确定传输链路发生故障的出接口所在的等价多路径路由组,包括:边界网管协议单元将传输链路发生故障的出接口写入数据库;交换状态服务单元响应于数据库的变化,确定传输链路发生故障的出接口所在的等价多路径路由组。
可选地,将传输链路发生故障的出接口从等价多路径路由组中删除,包括:通过交换机抽象接口的删除调用,将传输链路发生故障的出接口从等价多路径路由组中删除。
根据本公开实施例的第三方面,提供一种路由更新装置,包括:接收单元,被配置为接收路由更新消息,其中,路由更新消息指示了交换机中传输链路发生故障的出接口;确定单元,被配置为确定传输链路发生故障的出接口所在的等价多路径路由组;更新单元,被配置为将传输链路发生故障的出接口从等价多路径路由组中删除。
可选地,更新单元,还被配置为在将传输链路发生故障的出接口从等价多路径路由组中删除之后,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,其中,新等价多路径路由组与删除处理后的等价多路径路由组相同,且,所有路由中未完成更新的路由,采用删除处理后的等价多路径路由组继续传输数据,直至所有路由中未完成更新的路由完成关系更新。
可选地,更新单元,还被配置为对于所有路由中每个路由,通过如下操作将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系:将路由更新到数据库;在数据库存在路由的情况下,检查新等价多路径路由组是否已经存在;在新等价多路径路由组不存在的情况下,创建新等价多路径路由组;将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系;在新等价多路径路由组存在的情况下,将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系。
可选地,更新单元,还被配置为基于数据库中路由的相关信息,创建新等价多路径路由组,其中,相关信息包括路由的下一跳和下一跳在交换机中对应的无故障的出接口。
可选地,交换机中传输链路发生故障的出接口包括出接口本身出现故障导致传输链路发生故障的出接口和/或下一跳发生变化导致传输链路发生故障的出接口。
可选地,确定单元,还被配置为将传输链路发生故障的出接口写入数据库;响应于数据库的变化,确定传输链路发生故障的出接口所在的等价多路径路由组。
可选地,更新单元,还被配置为通过交换机抽象接口的删除调用,将传输链路发生故障的出接口从等价多路径路由组中删除。
根据本公开实施例的第四方面,提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现根据本公开的路由更新方法。
根据本公开实施例的第五方面,提供了一种计算机可读存储介质,当计算机可读存储介质中的指令被至少一个处理器运行时,促使至少一个处理器执行如上根据本公开的路由更新方法。
根据本公开实施例的第六方面,提供了一种计算机程序产品,包括计算机指令,计算机指令被处理器执行时实现根据本公开的路由更新方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
根据本公开的路由更新方法及装置,在交换机中存在传输链路发生故障的出接口时,确定传输链路发生故障的出接口所在的ECMP组,并从该ECMP组中删除传输链路发生故障的出接口,从而传输链路发生故障的出接口对应的所有路由,可以采用该ECMP组继续传输数据,由于该ECMP组删除了传输链路发生故障的出接口,也即不再包含故障链路的出接口,因此,通过本公开可以快速的将传输链路发生故障的出接口上的数据切换至ECMP组中负载分担的其他正常出接口,从而减少了数据的丢包。因此,本公开解决了相关技术的路由更新过程中,长时间没有来得及更新的路由产生丢包的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是示出相关技术系统处理路由关系更新的示意图;
图2是示出根据本公开的示例性实施例的路由更新方法的实施场景示意图;
图3是根据一示例性实施例示出的一种路由更新方法的流程图;
图4是根据一示例性实施例示出的一种路由更新方法的系统架构图;
图5是根据一示例性实施例示出的一条路由的更新流程示意图;
图6是根据一示例性实施例示出的一条路由的原有更新逻辑示意图;
图7是根据一示例性实施例示出的一种路由更新系统的框图;
图8是根据一示例性实施例示出的一种路由更新装置的框图;
图9是根据本公开实施例的一种电子设备900的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在此需要说明的是,在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况:(1)包括A;(2)包括B;(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”,即表示如下三种并列的情况:(1)执行步骤一;(2)执行步骤二;(3)执行步骤一和步骤二。
目前,在CLOS网络架构中,由于链路抖动或者网络拥塞导致协议TCP超时,进而导致某些交换机的下一跳发生变化,交换机之间会通过路由协议通告更新报文通知彼此的下一跳变化。对于这种情况,路由的数量不变化,只是下一跳(bgp neighbor)有变更,路由协议需要将全部路由下发和更新,下发和更新是一条路由一条路由进行的,即从第一条路由开始下发和更新直到最后一条路由下发和更新结束,因此路由数量越大,处理时间也就越长,比如100K的路由下发和更新完成需要花费10秒,这种方式下,链路出现故障后的路由切换时间远没有达到网络稳定性指标。
再有,线上环境由于交换机的端口频繁的抖动,会配置link delay down和linkdelay up功能防止端口抖动,通常设置的时间是1000ms(1s)。若实际端口发生Down后,由于端口link-delay down事件会延迟1s上报,再进行路由收敛,此时会造成端口丢包1s以上。通过端口配置双向转发检测机制(Bidirectional Forwarding Detection,缩写为BFD)检测端口down事件,由BFD检测端口down的状态,进行路由下发和更新,减少报文的丢包数量。当链路down后,BFD协议检测到超时,直接进行路由下发和更新,不等待上报信息。但是,这种情况下路由的下发和更新也是一条路由一条路由地进行的,即从第一条路由开始下发和更新直到最后一条路由下发和更新结束,因此路由数量越大,同样处理时间也就越长。
例如,图1是示出相关技术系统处理路由关系更新的示意图,如图1所示,现有系统中ECMP组1有四个成员,即Next Hop 1,Next Hop 2,Next Hop3,Next Hop 4),若其中一个成员(Next Hop 4)发生故障(Down变化),路由协议需要重新切换路由的指向。在路由下发交换机芯片的过程中,需要创建新的ECMP组2,该组成员为Next Hop 1,Next Hop 2,NextHop 3,更新的路由需要从ECMP组1切换到ECMP组2来,当更新结束后,就不会再丢包(路径2),但是在处理路由关系更新的过程中,如果是多个路由,如现在有路由1K直到路由200K,这些并不是一起进行更新,而是一条路由更新完才进行下一条路由的更新,因此,后面更新的路由,由于未来得及更新到ECMP组2,仍然会用ECMP组1,此时就会一直产生丢包,直到相应的路由更新完毕。
针对上述问题,本公开提供了一种路由更新方法,能够快速的将传输链路发生故障的出接口上的数据切换至ECMP组中负载分担的其他正常出接口,下面以一个交换机的下一跳发生变化的场景为例进行说明。
图2是示出根据本公开的示例性实施例的路由更新方法的实施场景示意图,如图2所述,该实施场景采用CLOS 4层网络结构,分别包括接入层(即图2中第4层)、汇聚层(即图2中第3层)、核心层(即图2中第2层)和超级核心层(即图2中第1层),其中,网络结构的层数不限于4个,每一层交换机的数量也不局限于图2中所示。在第3层的第4个交换机故障时,会通知对应的第2层中对应的交换机(即第6个)其下一跳发生变化,第2层中对应的交换机接收到通知后发现没有其他可选路径连通到目标地址(图2中第4层第1个交换机),此时会继续向上通知第1层中对应的交换机,即图2中第1层第1个交换机,下面将该交换机简称为执行交换机,该执行交换机接收到相应的通知(即路由更新消息),该通知指示了执行交换机中传输链路发生故障的出接口,然后执行交换机确定传输链路发生故障的出接口所在的等价多路径路由组,将传输链路发生故障的出接口从等价多路径路由组中删除,完成对传输链路发生故障的出接口对应的所有路由的更新。此时执行交换机会从删除处理后的等价多路径路由组选择合适的出接口向下一跳传输数据,如此时会选择第2层中的第7个交换机与执行交换机连接的出接口,进而经由第2层中的第7个交换机、第3层第5个交换机连通到目标地址(图2中第4层第1个交换机)。
下面,将参照附图详细描述根据本公开的示例性实施例的路由更新方法及装置。
图3是根据一示例性实施例示出的一种路由更新方法的流程图,如图3所示,路由更新方法包括以下步骤:
在步骤S301中,接收路由更新消息,其中,路由更新消息指示了交换机中传输链路发生故障的出接口。本步骤中的路由更新消息可以是交换机的下层交换机向上发送的路由下一跳更新的消息,也可以是BFD检测到的端口链路故障的信息(link-down),对此本公开并不进行限定。本公开可以应用到sonic系统上,如果应用到sonic系统上,本步骤中可以通过交换机中sonic系统的边界网关协议(Border Gateway Protocol,缩写为BGP)中BGPD(BGP Docker)模块接收路由更新消息,当然也可以通过其他适用的模块接收,对此本公开并不进行限定。需要说明的是,路由更新消息一般由交换机的内核协议栈(Linux kernel)先接收,进而转发给交换机上sonic系统的BGPD模块。需要说明的是,BGPD位于sonic系统的边界网关协议(Border Gateway Protocol,缩写为BGP)容器中,BGPD即常规的BGP,通过常规的TCP/UDP套接字接收来自外部的路由状态;再有,最底层的交换机一般向下用于连接用户接入设备,最高层的交换机一般用于向上连接核心网络设备,最底层的交换机向最高层的交换机发送消息,即向上发送消息,而最高层的交换机向最底层的交换机发送消息,即向下发送消息。
根据本公开的示例性实施例,交换机中传输链路发生故障的出接口可以包括出接口本身出现故障导致传输链路发生故障的出接口和/或下一跳发生变化导致传输链路发生故障的出接口。根据本实施例,本公开针对交换机的出接口本身故障或者下一跳发生变化导致的传输链路发生故障的场景均适用,使得本公开的方法不局限于一种场景。
例如,出接口本身出现故障可以通过BFD检测到的链路故障的信息(link-down)中获知,而下一跳发生变化可以通过交换机的下层交换机向上发送的路由下一跳更新的消息中获知,对此本公开并不进行限定。
返回图3,在步骤S302中,确定传输链路发生故障的出接口所在的等价多路径路由(ECMP)组。例如,可以通过传输链路发生故障的出接口所属下一跳查找有对应路由的ECMP组。
根据本公开的示例性实施例,确定传输链路发生故障的出接口所在的等价多路径路由组,可以包括:将传输链路发生故障的出接口写入数据库;响应于数据库的变化,确定传输链路发生故障的出接口所在的等价多路径路由组。根据本实施例,继续沿用原系统的工作模式,即将传输链路发生故障的出接口写入数据库,通过观察数据库的变化,确定出传输链路发生故障的出接口对应的ECMP组以及后续的删除操作,使得新增的逻辑更适配于原系统,以避免调整原系统过多的导致工作量过大。
例如,在原系统为sonic系统时,BGPD模块接收交换机内核协议栈(Linux kernel)传递过来的路由更新消息(如路由下一跳更新的消息或者端口链路故障的信息)后,从中解析出路由更新的信息以及对应的ECMP组中成员更新信息,此时,BGPD模块会推送这两份信息,其中,路由更新的信息会送到Zebra模块,ECMP组中成员更新信息(FRR_CONVERGE_TABLE)会通过BGPD模块直接推送到Redis数据库中ECMP成员数据库(ECMP member DB),如图4的虚线所示。上述出现的Zebra,位于sonic系统的BGP容器中,充当传统的IP路由管理,它提供内核路由表的更新,接口的查找和路由的重新分配。需要说明的是,路由更新的信息送到Zebra模块的相关内容后面会详细说明,此处不在展开论述,本实施例重点说明ECMP组中成员更新信息(FRR_CONVERGE_TABLE)会推送到Redis数据库中这部分,ECMP组中成员更新信息包含了本交换机ECMP组发生变化的端口的信息(表中存放的是要进行删除的端口名字),也即,传输链路发生故障的出接口的信息,具体如下:
在Redis数据库中写入了ECMP组中成员更新信息后,sonic系统中交换状态服务(SWitch State Service,缩写为SWSS)模块响应写到Redis数据库中的ECMP组中成员更新信息(FRR_CONVERGE_TABLE),根据变化的端口所属的下一跳查找到有对应路由的ECMP组,也即,本实施例中传输链路发生故障的出接口所在的等价多路径路由组。需要说明的是,对于一个端口的所在的ECMP组成员发生变化时,指向这个ECMP组的所有路由都需要完成成员的切换。
返回图3,在步骤S303中,将传输链路发生故障的出接口从等价多路径路由组中删除。
根据本公开的示例性实施例,在将传输链路发生故障的出接口从等价多路径路由组中删除之后,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,其中,新等价多路径路由组与删除处理后的等价多路径路由组相同,且,所有路由中未完成更新的路由,采用删除处理后的等价多路径路由组继续传输数据,直至所有路由中未完成更新的路由完成关系更新。根据本实施例,在删除处理后,继续按系统原有工作逻辑更新每个路由,将每个路由指向新ECMP组,也即不更改原系统中路由更新的逻辑,只是在按原有更新方式更新每个路由的对应关系之前,先从对应的ECMP组中删除传输链路发生故障的出接口,从而每个路由在关系更新前,可以采用删除处理后的ECMP组继续传输数据,直至路由完成关系更新。因此,本公开在保护系统的原有逻辑,降低对系统的修改程度,减少工作成本的基础上,降低了数据的丢包。
例如,在原系统为sonic系统时,BGPD模块在推送路由更新的信息和对应的ECMP组中成员更新信息时,会先推送ECMP组中成员更新信息,即完成路由和下一跳分离的功能,也即,由于BGPD模块向Zebra推送路由更新的信息时,是一条路由一条路由地向Zebra推送,因此,每条路由的关系更新也是一条路由一条路由进行的,因此,在路由关系更新前,先通过ECMP组中成员更新信息,将传输链路发生故障的出接口从等价多路径路由组中删除,可将待传输数据快速的从故障链路端口切换至ECMP负载分担的其他正常端口,从而减少了数据的丢包。在推送了ECMP组中成员更新信息后,BGPD模块再推送路由更新的信息到Zebra模块,Zebra模块再按照sonic系统路由关系更新的流程完成路由的关系更新,即Zebra模块依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系。
根据本公开的示例性实施例,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,包括:对于所有路由中每个路由,通过如下操作将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系:将路由更新到数据库;在数据库存在路由的情况下,检查新等价多路径路由组是否已经存在;在新等价多路径路由组不存在的情况下,创建新等价多路径路由组;将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系;在新等价多路径路由组存在的情况下,将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系。根据本实施例的关系更新方式,可以方便快速的将所述传输链路发生故障的出接口对应的所有路由中每个路由,从与所述等价多路径路由组对应的关系修改为与新等价多路径路组对应的关系。
例如,在原系统为sonic系统时,Zebra模块负责模块之间的通讯,能够解析BGPD模块发送的一条路由对应的路由更新的信息,通过Fpmsyncd写入Redis数据库的路由数据库(Route DB),写入的内容是ROUTE_TABLE,其中,写入Redis数据库的格式如下,其包含了路由前缀以及下一跳(nexthop)信息:
其中,10.0.0.0/8为路由前缀;ifname为端口名字字段,Ethernet501,Ethernet502,Ethernet503,Ethernet504是端口名字字段值;nexthop为下一跳字段,198.19.141.1,198.19.141.3,198.19.141.5,198.19.141.7为下一跳字段值。
对于更新到Redis数据库的本条路由,SWSS会响应Redis数据库的变换,判断数据库中已经存在与该路由的路由前缀相同的路由信息,说明该路由只是对应出接口更新,此时会创建新ECMP组,并写入Redis数据库的交换机芯片数据库(Asic DB),在通过同步进程(Syncd)下发到交换机芯片Asic,将路由从原来的ECMP组指向新ECMP组,完成本条路由的更新。需要说明的是,跟传输链路发生故障的出接口相关的每条路由会依次进行关系更新,由于BGPD模块是依次向zebra推送每条路由的路由更新的信息,因此,每条路由的关系更新都会经历从BGPD->Zebra->Fpmsyncd->Redis->SWSS->Redis->Syncd->Asic的处理过程,如图4所示实线部分所示,直到完成与传输链路发生故障的出接口相关的所有路由的关系更新。由于所有路由的下一跳已经提前完成切换,即上述旧的ECMP组已经删除故障成员,相应路由即使没有来得及进行关系更新,继续采用旧的ECMP组,也不会再有丢包问题。
根据本公开的示例性实施例,创建新等价多路径路由组,包括:基于数据库中路由的相关信息,创建新等价多路径路由组,其中,相关信息包括路由的下一跳和下一跳在交换机中对应的无故障的出接口。根据本实施例,根据数据库中的路由的相关信息,可以建立有效的新等价多路径路由组。
根据本公开的示例性实施例,将传输链路发生故障的出接口从等价多路径路由组中删除,包括:通过交换机抽象接口的删除调用,将传输链路发生故障的出接口从等价多路径路由组中删除。根据本实施例,沿用系统的SAI接口的删除调用,可以方便快速地将传输链路发生故障的出接口从等价多路径路由组中删除。
例如,可以调用SAI接口对ECMP组的删除调用,即将故障端口从ECMP组删除完成后,指向该ECMP组的路由不会在用到故障端口,因此,也不会有丢包问题发生。
为了方便理解上述实施例,下面结合图4和图5系统的说明第一条路由更新的总过程,图5是根据一示例性实施例示出的一条路由的更新流程示意图,如图5所示,交换机的交换机内核协议栈(Linux kernel)接收路由更新消息,转发给BGPD模块,BGPD模块从路由更新消息中析出路由更新的信息以及对应的ECMP组中成员更新信息,此时,BGPD模块会推送这两份信息。
对于ECMP组中成员更新信息(FRR_CONVERGE_TABLE),BGPD模块会优先进行推送,将其推送到Redis数据库中ECMP成员数据库(ECMP member DB),ECMP组中成员更新信息包含了本交换机ECMP组发生变化的端口的信息(表中存放的是要进行删除的端口名字),也即,传输链路发生故障的出接口的信息。此时,会开始进行路由支路(Route by pass),即在Redis数据库中写入了ECMP组中成员更新信息后,sonic系统SWSS)模块响应写到Redis数据库中的ECMP组中成员更新信息(FRR_CONVERGE_TABLE),根据变化的端口所属的下一跳查找到有对应路由存在的ECMP组,也即传输链路发生故障的出接口所在的等价多路径路由组,然后通过SAI的删除调用将传输链路发生故障的出接口从等价多路径路由组中删除,也即将删除处理后的等价多路径路由组下发到交换机芯片Asic。
对于路由更新的信息,BGPD模块会将该条路由的路由更新的信息送到Zebra模块,Zebra模块能够解析BGPD模块发送的一条路由对应的路由更新的信息,通过Fpmsyncd写入Redis数据库的Route DB,写入的内容是ROUTE_TABLE。对于更新到Redis数据库的本条路由,SWSS会响应Redis数据库的变换,判断数据库中已经存在与该条路由的路由前缀相同的路由信息,说明该条路由只是对应出接口更新,此时会创建新ECMP组,并写入Redis数据库的Asic DB,在通过Syncd下发到交换机芯片Asic,将该条路由从原来的ECMP组指向新ECMP组,完成本条路由的更新。
需要说明的是,与传输链路发生故障的出接口相关的每条路由会依次进行关系更新,由于BGPD模块是依次向zebra推送每条路由的路由更新的信息,因此,每条路由的关系更新都会经历从BGPD->Zebra->Fpmsyncd->Redis->SWSS->Redis->Syncd->Asic的处理过程,如图4所示,即第一条路由按图5左侧的支路(对应的右侧是Route by pass支路)更新结束后,第二条路由仍然会经历从BGPD->Zebra->Fpmsyncd->Redis->SWSS->Redis->Syncd->Asic的处理过程,直到完成与传输链路发生故障的出接口相关的所有路由的关系更新。由于所有路由的下一跳已经提前完成切换,即上述旧的ECMP组已经删除故障成员,相应路由即使没有来得及进行关系更新,继续采用旧的ECMP组,也不会再有丢包问题。
综上,对于路由协议处理下一跳变化等情况,本公开通过route by-pass支路,在不修改原系统的更新逻辑(图6所示)的情况下,在逐条更新大量路由前先通知路由原ECMP组的成员切换,主要做到以下两点:
(1)路由协议(BGPD模块)收到路由更新消息后,在逐条刷新大量路由前将路由指向的ECMP组1的成员中发生故障的成员进行删除,虽然所有未完成关系更新的路由继续指向ECMP组1,但该ECMP组1已经不包含发生故障的成员,相当于所有未完成关系更新的路由完成正确路径切换,从而流量快速止损了。
(2)再按照系统正常的路由更新逻辑依次的对大量路由进行更新,即创建新的ECMP组2,将路由从指向的ECMP组1更新为指向ECMP组2。
本公开引入route by-pass支路,相当于将路由和下一跳进行解耦,对路由协议和系统流程均无影响,因此,本公开的方案容易移植,不需要协议支持。且通过route by-pass支路可将数据快速从故障链路端口切换至ECMP负载分担的其他正常端口,从而大大减少了链路收敛时间,链路收敛效果可以达到500ms以内,使业务无感知。
因此,本公开的方案非常适用于数据中心中大规模的邻居变化的切换,例如,可以应用于路由协议处理下一跳变化相关的所有场景:重启、掉电、一键隔离、端口震荡、路由撤销等。
图7是根据一示例性实施例示出的一种路由更新系统的框图。参照图7,该路由更新系统7包括:边界网关协议容器70,边界网关协议容器70包括边界网管协议单元700、交换状态服务单元701,其中,边界网管协议单元700接收路由更新消息,其中,路由更新消息指示了交换机中传输链路发生故障的出接口;交换状态服务单元701确定传输链路发生故障的出接口所在的等价多路径路由组;将传输链路发生故障的出接口从等价多路径路由组中删除。
本公开可以应用到sonic系统上,如果应用到sonic系统上,边界网关协议容器70即sonic系统中BGP,边界网管协议单元700即sonic系统中BGPD,交换状态服务单元70即sonic系统中SWSS。
根据本公开的示例性实施例,在将传输链路发生故障的出接口从等价多路径路由组中删除之后,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,其中,新等价多路径路由组与删除处理后的等价多路径路由组相同,且,所有路由中未完成更新的路由,采用删除处理后的等价多路径路由组继续传输数据,直至所有路由中未完成更新的路由完成关系更新。根据本实施例,在删除处理后,继续按系统原有工作逻辑更新每个路由,将每个路由指向新ECMP组,也即不更改原系统中路由更新的逻辑,只是在按原有更新方式更新每个路由的对应关系之前,先从对应的ECMP组中删除传输链路发生故障的出接口,从而每个路由在关系更新前,可以采用删除处理后的ECMP组继续传输数据,直至路由完成关系更新。因此,本公开在保护系统的原有逻辑,降低对系统的修改程度,减少工作成本的基础上,降低了数据的丢包。
根据本公开的示例性实施例,边界网关协议容器70还包括路由管理器,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,包括:对于所有路由中每个路由,通过如下操作将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系:路由管理器将路由更新到数据库;在数据库存在路由的情况下,交换状态服务单元701检查新等价多路径路由组是否已经存在;在新等价多路径路由组不存在的情况下,交换状态服务单元701创建新等价多路径路由组;将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系;在新等价多路径路由组存在的情况下,交换状态服务单元701将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系。
根据本实施例的关系更新方式,可以方便快速的将所述传输链路发生故障的出接口对应的所有路由中每个路由,从与所述等价多路径路由组对应的关系修改为与新等价多路径路组对应的关系。
例如,上述路由管理器为sonic系统中Zebra。
根据本公开的示例性实施例,创建新等价多路径路由组,包括:交换状态服务单元701基于数据库中路由的相关信息,创建新等价多路径路由组,其中,相关信息包括路由的下一跳和下一跳在交换机中对应的无故障的出接口。根据本实施例,根据数据库中的路由的相关信息,可以建立有效的新等价多路径路由组,避免包含有故障的出接口。
根据本公开的示例性实施例,交换机中传输链路发生故障的出接口包括出接口本身出现故障导致传输链路发生故障的出接口和/或下一跳发生变化导致传输链路发生故障的出接口。根据本实施例,本公开针对交换机的出接口本身故障或者下一跳发生变化导致的传输链路发生故障的场景均适用,使得本公开的方法不局限于一种场景。
根据本公开的示例性实施例,确定传输链路发生故障的出接口所在的等价多路径路由组,包括:边界网管协议单元将传输链路发生故障的出接口写入数据库;交换状态服务单元响应于数据库的变化,确定传输链路发生故障的出接口所在的等价多路径路由组。根据本实施例,继续沿用原系统的工作模式,即将传输链路发生故障的出接口写入数据库,通过观察数据库的变化,确定出传输链路发生故障的出接口对应的ECMP组以及后续的删除操作,使得新增的逻辑更适配于原系统,以避免调整原系统过多的导致工作量过大。
根据本公开的示例性实施例,将传输链路发生故障的出接口从等价多路径路由组中删除,包括:通过交换机抽象接口的删除调用,将传输链路发生故障的出接口从等价多路径路由组中删除。根据本实施例,沿用系统的SAI接口的删除调用,可以方便快速的将传输链路发生故障的出接口从等价多路径路由组中删除。
图8是根据一示例性实施例示出的一种路由更新装置的框图。参照图8,该装置包括接收单元80、确定单元82和更新单元84。
接收单元80,被配置为接收路由更新消息,其中,路由更新消息指示了交换机中传输链路发生故障的出接口;确定单元82,被配置为确定传输链路发生故障的出接口所在的等价多路径路由组;更新单元84,被配置为将传输链路发生故障的出接口从等价多路径路由组中删除。
根据本公开的示例性实施例,更新单元84,还被配置为在将传输链路发生故障的出接口从等价多路径路由组中删除之后,依次将传输链路发生故障的出接口对应的所有路由中每个路由,从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,其中,新等价多路径路由组与删除处理后的等价多路径路由组相同,且,所有路由中未完成更新的路由,采用删除处理后的等价多路径路由组继续传输数据,直至所有路由中未完成更新的路由完成关系更新。
根据本公开的示例性实施例,更新单元84,还被配置为对于所有路由中每个路由,通过如下操作将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系:将路由更新到数据库;在数据库存在路由的情况下,检查新等价多路径路由组是否已经存在;在新等价多路径路由组不存在的情况下,创建新等价多路径路由组;将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系;在新等价多路径路由组存在的情况下,将路由从与等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系。
根据本公开的示例性实施例,更新单元84,还被配置为基于数据库中路由的相关信息,创建新等价多路径路由组,其中,相关信息包括路由的下一跳和下一跳在交换机中对应的无故障的出接口。
根据本公开的示例性实施例,交换机中传输链路发生故障的出接口包括出接口本身出现故障导致传输链路发生故障的出接口和/或下一跳发生变化导致传输链路发生故障的出接口。
根据本公开的示例性实施例,确定单元82,还被配置为将传输链路发生故障的出接口写入数据库;响应于数据库的变化,确定传输链路发生故障的出接口所在的等价多路径路由组。
可选地,更新单元84,还被配置为通过交换机抽象接口的删除调用,将传输链路发生故障的出接口从等价多路径路由组中删除。
根据本公开的实施例,可提供一种电子设备。图9是根据本公开实施例的一种电子设备900的框图,该电子设备包括至少一个存储器901和至少一个处理器902,所述至少一个存储器中存储有计算机可执行指令集合,当计算机可执行指令集合被至少一个处理器执行时,执行根据本公开实施例的路由更新方法。
作为示例,电子设备900可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里,电子设备1000并非必须是单个的电子设备,还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备900还可以是集成控制系统或系统管理器的一部分,或者可被配置为与本地或远程(例如,经由无线传输)以接口互联的便携式电子设备。
在电子设备900中,处理器902可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制,处理器902还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理器902可运行存储在存储器中的指令或代码,其中,存储器901还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收,其中,网络接口装置可采用任何已知的传输协议。
存储器901可与处理器902集成为一体,例如,将RAM或闪存布置在集成电路微处理器等之内。此外,存储器901可包括独立的装置,诸如,外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器901和处理器902可在操作上进行耦合,或者可例如通过I/O端口、网络连接等互相通信,使得处理器902能够读取存储在存储器901中的文件。
此外,电子设备900还可包括视频显示器(诸如,液晶显示器)和用户交互接口(诸如,键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。
根据本公开的实施例,还可提供一种计算机可读存储介质,其中,当计算机可读存储介质中的指令被至少一个处理器运行时,促使至少一个处理器执行本公开实施例的路由更新方法。这里的计算机可读存储介质的示例包括:只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如,多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置,所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行,此外,在一个示例中,计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上,使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开实施例,提供了一种计算机程序产品,包括计算机指令,计算机指令被处理器执行时实现本公开实施例的路由更新方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种更新和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种路由更新方法,其特征在于,包括:
接收路由更新消息,其中,所述路由更新消息指示了交换机中传输链路发生故障的出接口;
确定所述传输链路发生故障的出接口所在的等价多路径路由组;
将所述传输链路发生故障的出接口从所述等价多路径路由组中删除。
2.如权利要求1所述的路由更新方法,其特征在于,在将所述传输链路发生故障的出接口从所述等价多路径路由组中删除之后,还包括:
依次将所述传输链路发生故障的出接口对应的所有路由中每个路由,从与所述等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,其中,所述新等价多路径路由组与删除处理后的所述等价多路径路由组相同,且,所述所有路由中未完成更新的路由,采用删除处理后的所述等价多路径路由组继续传输数据,直至所述所有路由中未完成更新的路由完成关系更新。
3.如权利要求2所述的路由更新方法,其特征在于,所述依次将所述传输链路发生故障的出接口对应的所有路由中每个路由,从与所述等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系,包括:
对于所述所有路由中每个路由,通过如下操作将所述路由从与所述等价多路径路由组对应的关系更新为与新等价多路径路由组对应的关系:
将所述路由更新到数据库;
在所述数据库存在所述路由的情况下,检查所述新等价多路径路由组是否已经存在;
在所述新等价多路径路由组不存在的情况下,创建所述新等价多路径路由组;将所述路由从与所述等价多路径路由组对应的关系更新为与所述新等价多路径路由组对应的关系;
在所述新等价多路径路由组存在的情况下,将所述路由从与所述等价多路径路由组对应的关系更新为与所述新等价多路径路由组对应的关系。
4.如权利要求3所述的路由更新方法,其特征在于,所述创建所述新等价多路径路由组,包括:
基于所述数据库中所述路由的相关信息,创建所述新等价多路径路由组,其中,所述相关信息包括所述路由的下一跳和所述下一跳在所述交换机中对应的无故障的出接口。
5.如权利要求1所述的路由更新方法,其特征在于,所述交换机中传输链路发生故障的出接口包括出接口本身出现故障导致传输链路发生故障的出接口和/或所述下一跳发生变化导致传输链路发生故障的出接口。
6.如权利要求1所述的路由更新方法,其特征在于,所述确定所述传输链路发生故障的出接口所在的等价多路径路由组,包括:
将所述传输链路发生故障的出接口写入数据库;
响应于所述数据库的变化,确定所述传输链路发生故障的出接口所在的等价多路径路由组。
7.如权利要求1所述的路由更新方法,其特征在于,所述将所述传输链路发生故障的出接口从所述等价多路径路由组中删除,包括:
通过交换机抽象接口的删除调用,将所述传输链路发生故障的出接口从所述等价多路径路由组中删除。
8.一种路由更新系统,其特征在于,所述路由更新系统包括边界网关协议容器,所述边界网关协议容器包括边界网管协议单元、交换状态服务单元,其中,
所述边界网管协议单元接收路由更新消息,其中,所述路由更新消息指示了交换机中传输链路发生故障的出接口;
所述交换状态服务单元确定所述传输链路发生故障的出接口所在的等价多路径路由组;将所述传输链路发生故障的出接口从所述等价多路径路由组中删除。
9.一种路由更新装置,其特征在于,包括:
接收单元,被配置为接收路由更新消息,其中,所述路由更新消息指示了交换机中传输链路发生故障的出接口;
确定单元,被配置为确定所述传输链路发生故障的出接口所在的等价多路径路由组;
更新单元,被配置为将所述传输链路发生故障的出接口从所述等价多路径路由组中删除。
10.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的路由更新方法。
11.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令被至少一个处理器运行时,促使所述至少一个处理器执行如权利要求1至7中任一项所述的路由更新方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310368453.9A CN116155795A (zh) | 2023-04-07 | 2023-04-07 | 路由更新方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310368453.9A CN116155795A (zh) | 2023-04-07 | 2023-04-07 | 路由更新方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116155795A true CN116155795A (zh) | 2023-05-23 |
Family
ID=86358443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310368453.9A Pending CN116155795A (zh) | 2023-04-07 | 2023-04-07 | 路由更新方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116155795A (zh) |
-
2023
- 2023-04-07 CN CN202310368453.9A patent/CN116155795A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11323307B2 (en) | Method and system of a dynamic high-availability mode based on current wide area network connectivity | |
US11163653B2 (en) | Storage cluster failure detection | |
AU2004306913B2 (en) | Redundant routing capabilities for a network node cluster | |
CN110113259B (zh) | 路径状态通知方法、路径切换方法、转发设备及系统 | |
US9661112B2 (en) | System and methods for providing server virtualization assistance | |
US7945753B2 (en) | Computer system, management method and storage network system | |
US20120331104A1 (en) | Controlling communication among multiple industrial control systems | |
EP2974166B1 (en) | Method and apparatus for ip/mpls fast reroute | |
WO2017092400A1 (zh) | 故障恢复方法及装置、控制器、软件定义网络 | |
US8824275B2 (en) | Route calculating after switching occurs from a primary main control board to a standby main control board | |
JP2011053918A (ja) | ネットワークシステム、ネットワーク中継装置、それらの制御方法 | |
JP6792701B2 (ja) | プライマリ・バックアップ疑似回線pw切替 | |
US20080126501A1 (en) | Service take-over method based on apparatus disaster recovery, service transfer apparatus and backup machine | |
CN102394914A (zh) | 集群脑裂处理方法和装置 | |
CN111431980B (zh) | 分布式存储系统及其路径切换方法 | |
US11403319B2 (en) | High-availability network device database synchronization | |
CN113839862B (zh) | Mclag邻居之间同步arp信息的方法、系统、终端及存储介质 | |
JP7099272B2 (ja) | 情報処理装置、ネットワークシステム及びチーミングプログラム | |
CN112134796A (zh) | 一种实现流量切换的方法、装置及系统 | |
CN101064687B (zh) | 路由收敛的方法 | |
CN102187627B (zh) | 负载分担的方法及装置、宽带接入服务器系统 | |
US20210250235A1 (en) | Diagram generation method and storage medium | |
CN110535947B (zh) | 一种存储设备集群配置节点切换方法、装置及设备 | |
CN116155795A (zh) | 路由更新方法及装置 | |
CN106533936B (zh) | 路由器平滑重启的管理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |