CN104253757A - 一种通过多rb聚合接入网络的方法和设备 - Google Patents

一种通过多rb聚合接入网络的方法和设备 Download PDF

Info

Publication number
CN104253757A
CN104253757A CN201410449604.4A CN201410449604A CN104253757A CN 104253757 A CN104253757 A CN 104253757A CN 201410449604 A CN201410449604 A CN 201410449604A CN 104253757 A CN104253757 A CN 104253757A
Authority
CN
China
Prior art keywords
message
polymerized
domain identifier
device identification
isis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410449604.4A
Other languages
English (en)
Other versions
CN104253757B (zh
Inventor
戴一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou H3C Technologies Co Ltd
Original Assignee
Hangzhou H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou H3C Technologies Co Ltd filed Critical Hangzhou H3C Technologies Co Ltd
Priority to CN201410449604.4A priority Critical patent/CN104253757B/zh
Publication of CN104253757A publication Critical patent/CN104253757A/zh
Application granted granted Critical
Publication of CN104253757B publication Critical patent/CN104253757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Small-Scale Networks (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种通过多RB聚合接入网络的方法和设备,该方法包括:RB在从RB聚合口学习到外网设备的MAC地址时,所述RB广播第一RB聚合报文;所述RB在收到其它RB广播的第二RB聚合报文时,在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系;所述RB在确定其它RB发生故障时,确定该发生故障的其它RB对应的域标识,并将硬件转发表项中记录的该发生故障的其它RB的设备标识,更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识。本发明实施例中,可以在多个RB之间进行链路负载分担,能够通过最短路径进行流量转发。

Description

一种通过多RB聚合接入网络的方法和设备
技术领域
本发明涉及通信技术领域,尤其涉及一种通过多RB聚合接入网络的方法和设备,特别是涉及了一种通过双RB聚合接入网络的方法和设备。
背景技术
如图1所示,为TRILL(TRansparent Interconnection of Lots of Links,多链路透明互联)网络的组网示意图,RB1(Route Bridge,路由桥)分别与RB5、RB6和RB7连接,RB2分别与RB5、RB6和RB7连接,RB3分别与RB5、RB6和RB7连接,RB4分别与RB5、RB6和RB7连接。针对RB1、RB2、RB3和RB4的流量,可以在RB5、RB6和RB7之间进行负载分担,任意链路故障或是单点故障不会影响整个TRILL网络的工作。但是,如图1所示,主机和交换机在接入RB时,一般只能接入某一个RB,若是主机或者交换机接入的RB故障,则对于主机和交换机来说,整个TRILL网络就与其隔离了,有很大的局限性。进一步的,如图2所示,主机和交换机在接入RB时,可以使用IRF(Intelligent ResilientFramework,智能弹性架构)技术将两个物理RB(如RB1和RB2)虚拟成一个RB,基于此,主机和交换机可以同时接入被虚拟成一个RB的两个物理RB。
当IRF的聚合链路出现故障时,会导致流量无法在TRILL网络内使用最短路径,并出现流量通过堆叠链路进行转发的情况。如图2所示,如果主机和RB1之间的链路出现故障,且RB5发送给主机的流量依然发送给RB1,则RB1需要先将流量通过IRF链路转发给RB2,然后通过RB2将流量发送给主机。在此过程中,流量没有在TRILL网络内使用最短路径(最短路径为RB5发送给主机的流量发送给RB2,由RB2将流量发送给主机),且流量需要经过堆叠链路。
发明内容
本发明实施例提供一种通过多路由桥RB聚合接入网络的方法,当外网设备连接到多链路透明互联TRILL网络中的多个RB时,所述方法包括:
针对所述多个RB中的每个RB,各RB分别将所述外网设备对应的端口加入到RB聚合口,并分别为所述RB聚合口配置相同的域标识;
RB在从RB聚合口学习到所述外网设备的介质访问控制MAC地址时,所述RB广播第一RB聚合报文,所述第一RB聚合报文中携带了所述外网设备的MAC地址、所述RB聚合口对应的域标识、所述RB的设备标识;
所述RB在收到其它RB广播的第二RB聚合报文时,在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识间的对应关系;
所述RB在确定其它RB发生故障时,确定该发生故障的其它RB对应的域标识,通过所述域标识查询软件转发表项,并将软件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识,并将硬件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识。
所述方法进一步包括:所述RB在从RB聚合口学习到所述外网设备的MAC地址时,所述RB广播第一中间系统到中间系统ISIS报文;其中,所述第一ISIS报文中携带了所述外网设备的MAC地址和所述RB的设备标识;所述RB在接收到其它RB广播的第二ISIS报文时,在所述硬件转发表项中维护所述第二ISIS报文中携带的MAC地址以及设备标识之间的对应关系。
所述RB在收到其它RB广播的第二RB聚合报文时,在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识间的对应关系的过程,具体包括:所述RB在收到其它RB广播的第二RB聚合报文时,判断所述软件转发表项中是否有所述第二RB聚合报文对应的记录;如果没有所述第二RB聚合报文对应的记录,则所述RB判断所述软件转发表项中是否有所述第二RB聚合报文中携带的域标识;如果没有所述第二RB聚合报文中携带的域标识,则所述RB在所述软件转发表项中记录所述第二RB聚合报文中携带的域标识,并在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识;如果有所述第二RB聚合报文中携带的域标识,则所述RB在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识。
所述方法进一步包括:所述RB在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系时,为所述对应关系设置老化时间;在其它RB周期性的广播第二RB聚合报文时,所述RB每次收到所述第二RB聚合报文时,更新所述第二RB聚合报文对应的老化时间;当所述老化时间超时时,所述RB确定所述其它RB发生故障。
所述方法进一步包括:
所述RB在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与本RB对应的域标识相同,则所述RB周期性的向第三RB聚合报文对应的RB发送第三ISIS报文,并接收第三RB聚合报文对应的RB周期性返回的第四ISIS报文;如果所述RB在预设时间内未收到第四ISIS报文,则所述RB确定第三RB聚合报文对应的RB发生故障,并广播第五ISIS报文,所述第五ISIS报文中携带第三RB聚合报文对应的RB对应的域标识和设备标识,由收到所述第五ISIS报文的各RB基于所述第五ISIS报文中携带的域标识和设备标识确定第三RB聚合报文对应的RB发生故障。
所述方法进一步包括:
所述RB在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与本RB对应的域标识相同,则所述RB比较所述第三RB聚合报文中携带设备标识与本RB的设备标识;如果所述第三RB聚合报文中携带设备标识大于本RB的设备标识,所述RB禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识小于本RB的设备标识,所述RB允许通过所述域标识对应的RB聚合口发送组播报文和广播报文;或者,如果所述第三RB聚合报文中携带设备标识小于本RB的设备标识,所述RB禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识大于本RB的设备标识,所述RB允许通过所述域标识对应的RB聚合口发送组播报文和广播报文。
本发明实施例提供一种路由桥RB,当外网设备连接到多链路透明互联TRILL网络的多个RB时,针对多个RB中的每个RB,所述RB具体包括:
配置模块,用于将所述外网设备对应的端口加入到RB聚合口,并为所述RB聚合口配置域标识;其中,为所述RB聚合口配置的域标识与多个RB中的其它RB为所述RB聚合口配置的域标识相同;
发送模块,用于从RB聚合口学习到所述外网设备的介质访问控制MAC地址时,广播第一RB聚合报文,所述第一RB聚合报文中携带了所述外网设备的MAC地址、所述RB聚合口对应的域标识、所述RB的设备标识;
维护模块,用于在收到第二RB聚合报文时,在软件转发表项中维护所述第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系;
更新模块,用于在确定其它RB发生故障时,确定该发生故障的其它RB对应的域标识,通过所述域标识查询软件转发表项,并将软件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识,并将硬件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识。
所述发送模块,还用于在从RB聚合口学习到所述外网设备的MAC地址时,广播第一中间系统到中间系统ISIS报文;其中,所述第一ISIS报文中携带了所述外网设备的MAC地址和所述RB的设备标识;
所述维护模块,还用于在接收到第二ISIS报文时,在所述硬件转发表项中维护所述第二ISIS报文中携带的MAC地址以及设备标识之间的对应关系。
所述维护模块,具体用于在收到其它RB广播的第二RB聚合报文时,判断所述软件转发表项中是否有所述第二RB聚合报文对应的记录;如果没有所述第二RB聚合报文对应的记录,则判断所述软件转发表项中是否有所述第二RB聚合报文中携带的域标识;如果没有所述第二RB聚合报文中携带的域标识,则在所述软件转发表项中记录所述第二RB聚合报文中携带的域标识,并在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识;如果有所述第二RB聚合报文中携带的域标识,则直接在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识。
所述维护模块,进一步用于在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系时,为所述对应关系设置老化时间;在其它RB周期性的广播第二RB聚合报文时,在每次收到所述第二RB聚合报文时,更新所述第二RB聚合报文对应的老化时间;
所述更新模块,进一步用于当所述老化时间超时时,确定所述老化时间对应的第二RB聚合报文所对应的其它RB发生故障。
所述发送模块,还用于在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与所述RB对应的域标识相同,则周期性的向所述第三RB聚合报文对应的RB发送第三ISIS报文;
所述更新模块,进一步用于接收所述第三RB聚合报文对应的RB周期性返回的第四ISIS报文;如果在预设时间内未收到第四ISIS报文,则确定所述第三RB聚合报文对应的RB发生故障;
所述发送模块,还用于在确定所述第三RB聚合报文对应的RB发生故障时,广播第五ISIS报文,所述第五ISIS报文中携带所述第三RB聚合报文对应的RB对应的域标识和设备标识,由收到所述第五ISIS报文的各RB基于所述第五ISIS报文中携带的域标识和设备标识,确定所述第三RB聚合报文对应的RB发生故障。
还包括:处理模块,用于在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与所述RB对应的域标识相同,则比较所述第三RB聚合报文中携带设备标识与所述RB的设备标识;如果所述第三RB聚合报文中携带设备标识大于所述RB的设备标识,则禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识小于所述RB的设备标识,则允许通过所述域标识对应的RB聚合口发送组播报文和广播报文;或者,如果所述第三RB聚合报文中携带设备标识小于所述RB的设备标识,则禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识大于所述RB的设备标识,则允许通过所述域标识对应的RB聚合口发送组播报文和广播报文。
基于上述技术方案,本发明实施例中,可以将外网设备连接到TRILL网络中的多个RB,并在多个RB之间进行链路负载分担,大大增加了外网设备接入网络的可靠性,当有RB发生故障时,能够通过最短路径进行流量转发。
附图说明
图1和图2是TRILL网络的组网示意图;
图3是本发明实施例的TRILL网络的应用场景示意图;
图4是本发明实施例提供的一种通过多RB聚合接入网络的方法流程图;
图5是本发明实施例提供的一种RB的结构示意图。
具体实施方式
针对现有技术中存在的问题,本发明实施例提供一种通过多RB聚合接入网络的方法,该方法应用于包括多个RB的TRILL网络中。以图3为本发明实施例的应用场景示意图,RB1分别与RB5、RB6和RB7连接,RB2分别与RB5、RB6和RB7连接,RB3分别与RB5、RB6和RB7连接,RB4分别与RB5、RB6和RB7连接。本发明实施例中,将外网设备(即TRILL网络外的设备)连接到TRILL网络的多个RB上。多个RB可以为2个RB。如图3所示,外网设备为主机或者交换机,多个RB具体为2个RB。
本发明实施例中,当外网设备连接到TRILL网络的多个RB时,外网设备将这些接入RB的端口配置到同一个聚合口上,并在此聚合口采用基于源MAC((Media Access Control,介质访问控制)地址的负载均衡算法;或者,基于源MAC地址和VLAN(Virtual Local Area Network,虚拟局域网)的负载均衡算法。例如,主机将端口1和端口2配置到聚合口1上,并在此聚合口1采用基于源MAC地址的负载均衡算法,即主机利用源MAC地址对流量进行hash,并基于hash结果,通过端口1或者端口2发送流量。
如图4所示,通过多RB聚合接入网络的方法具体可以包括以下步骤:
步骤401,针对外网设备连接的多个RB中的每个RB,各RB分别将外网设备对应的端口加入到RB聚合口,并分别为RB聚合口配置相同的域标识。
在图3所示的应用场景下,针对主机连接的RB1和RB2,RB1将主机所对应的端口3加入到RB聚合口1,并为该RB聚合口1配置域标识1;RB2将主机所对应的端口4加入到RB聚合口1,并为该RB聚合口1配置域标识1。针对交换机连接的RB3和RB4,RB3将交换机所对应的端口5加入到RB聚合口2,并为该RB聚合口2配置域标识2;RB4将交换机所对应的端口6加入到RB聚合口2,并为该RB聚合口2配置域标识2。
步骤402,RB在从RB聚合口学习到外网设备的MAC地址时,广播第一RB聚合报文。其中,该第一RB聚合报文中携带了该外网设备的MAC地址、该RB聚合口对应的域标识、本RB的设备标识,如RB的Nickname,RB的Nickname是RB在TRILL网络中的地址,其是TRILL网络的唯一标识。
步骤403,RB在收到其它RB广播的第二RB聚合报文时,在软件转发表项中维护第二RB聚合报文中携带的域标识(其它RB学习到外网设备的MAC地址的RB聚合口对应的域标识)、MAC地址(其它RB学习到的外网设备的MAC地址)和设备标识(其它RB的Nickname)之间的对应关系。
在主机需要发送流量时,主机根据流量的源MAC地址(或源MAC地址和VLAN)对流量进行hash,基于hash结果,通过端口1或者端口2发送流量。假设主机通过端口1发送源MAC地址1、源MAC地址3的流量,通过端口2发送源MAC地址2、源MAC地址4的流量。则:RB1从RB聚合口1收到源MAC地址1的流量后,学习到主机的MAC地址为源MAC地址1,并广播RB聚合报文,该RB聚合报文中携带了源MAC地址1、域标识1、RB1的Nickname。RB1从RB聚合口1收到源MAC地址3的流量后,学习到主机的MAC地址为源MAC地址3,并广播RB聚合报文,该RB聚合报文中携带了源MAC地址3、域标识1、RB1的Nickname。RB2从RB聚合口1收到源MAC地址2的流量后,学习到主机的MAC地址为源MAC地址2,并广播RB聚合报文,该RB聚合报文中携带了源MAC地址2、域标识1、RB2的Nickname。RB2从RB聚合口1收到源MAC地址4的流量后,学习到主机的MAC地址为源MAC地址4,并广播RB聚合报文,该RB聚合报文中携带了源MAC地址4、域标识1、RB2的Nickname。
同理,在交换机需要发送流量时,交换机根据流量的源MAC地址(或源MAC地址和VLAN)对流量进行hash,并基于hash结果发送流量。RB3从RB聚合口2收到源MAC地址5的流量后,学习到交换机的MAC地址为源MAC地址5,并广播RB聚合报文,该RB聚合报文中携带了源MAC地址5、域标识2、RB3的Nickname。RB4从RB聚合口2收到源MAC地址6的流量后,学习到交换机的MAC地址为源MAC地址6,并广播RB聚合报文,该RB聚合报文中携带了源MAC地址6、域标识2、RB4的Nickname。
基于RB1从RB聚合口学习到的外网设备的MAC地址、来自RB2的RB聚合报文、来自RB3的RB聚合报文、来自RB4的RB聚合报文,RB1维护的软件转发表项如表1所示。同理,RB2维护的软件转发表项如表1所示,RB3维护的软件转发表项如表1所示,RB4维护的软件转发表项如表1所示。
表1
本发明实施例中,RB在收到其它RB广播的第二RB聚合报文时,在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系的过程,具体包括但不限于:RB在接收到其它RB广播的第二RB聚合报文时,判断本地维护的软件转发表项中是否有该第二RB聚合报文对应的记录;如果没有该第二RB聚合报文对应的记录,则RB判断软件转发表项中是否有该第二RB聚合报文中携带的域标识;如果没有该第二RB聚合报文中携带的域标识,则在软件转发表项中记录该第二RB聚合报文中携带的域标识,并在该域标识下记录该第二RB聚合报文中携带的MAC地址和设备标识;如果有该第二RB聚合报文中携带的域标识,则RB直接在该域标识下记录该第二RB聚合报文中携带的MAC地址和设备标识。
例如,RB1在接收到RB4广播的第二RB聚合报文时,如果本地维护的软件转发表项中已经记录了域标识2、源MAC地址6、RB4的Nickname之间的对应关系,则说明软件转发表项中有该第二RB聚合报文对应的记录。否则,说明软件转发表项中没有该第二RB聚合报文对应的记录。
本发明实施例中,RB在从RB聚合口学习到外网设备的MAC地址时,还广播第一ISIS(Intermediate System to Intermediate System,中间系统到中间系统)报文。其中,第一ISIS报文中携带了该外网设备的MAC地址和本RB的设备标识。进一步的,RB在接收到其它RB广播的第二ISIS报文时,在硬件转发表项中维护第二ISIS报文中携带的MAC地址(其它RB学习到的外网设备的MAC地址以及设备标识(其它RB的Nickname)之间的对应关系。
基于RB1从RB聚合口学习到的外网设备的MAC地址、来自RB2的ISIS报文、来自RB3的ISIS报文、来自RB4的ISIS报文,RB1维护的硬件转发表项如表2所示。同理,RB2维护的硬件转发表项如表2所示,RB3维护的硬件转发表项如表2所示,RB4维护的硬件转发表项如表2所示。
表2
MAC地址 设备标识
源MAC地址1 RB1的Nickname
源MAC地址2 RB2的Nickname
源MAC地址3 RB1的Nickname
源MAC地址4 RB2的Nickname
源MAC地址5 RB3的Nickname
源MAC地址6 RB4的Nickname
本发明实施例中,硬件转发表项是指需要下发到硬件转发芯片的转发表项,且硬件转发表项用于指导硬件转发芯片进行流量转发。软件转发表项是指在CPU上维护的转发表项,该软件转发表项不需要下发到硬件转发芯片上。
在上述处理过程中,当外网设备基于源MAC地址和VLAN发送流量时,则RB聚合报文和ISIS报文中还会携带流量的VLAN信息,且各RB在维护软件转发表项和硬件转发表项时,相应的表项中也同时记录VLAN信息。
步骤404,RB在确定其它RB发生故障时,确定该发生故障的其它RB对应的域标识,并通过该域标识查询软件转发表项,将软件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识。
进一步的,RB还需要将硬件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识。
例如,RB1在确定RB3发生故障时,确定RB3对应的域标识为域标识2,并通过该域标识2查询软件转发表项,将软件转发表项中记录的RB3的设备标识更新为域标识2在软件转发表项中对应的未发生故障的RB的设备标识,
即RB4的设备标识,更新后的软件转发表项如表3所示。RB1还需要将硬件转发表项中记录的RB3的设备标识更新为域标识2在软件转发表项中对应的未发生故障的RB的设备标识,即RB4的设备标识,更新后的硬件转发表项如表4所示。在经过上述处理之后,RB1在向交换机发送流量时,基于表4所示的硬件转发表项,RB1只会将流量发送给RB4,而不会将流量发送给RB3,从而能够通过最短路径进行流量转发,减少流量传输开销。
表3
表4
MAC地址 设备标识
源MAC地址1 RB1的Nickname
源MAC地址2 RB2的Nickname
源MAC地址3 RB1的Nickname
源MAC地址4 RB2的Nickname
源MAC地址5 RB4的Nickname
源MAC地址6 RB4的Nickname
为了检测RB是否发生故障,本发明实施例中提出如下检测方式:
方式一、各RB在发送RB聚合报文时,各RB均是周期性发送RB聚合报文。进一步的,RB在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系时,为该对应关系设置老化时间。基于此,RB每次收到第二RB聚合报文时,更新该第二RB聚合报文对应的老化时间;当老化时间超时时,则说明对应的RB长时间没有广播第二RB聚合报文,此时RB确定该第二RB聚合报文对应的其它RB发生故障。
例如,RB3周期性(如1秒)的广播携带了源MAC地址5、域标识2、RB3的Nickname的RB聚合报文,RB1在收到该RB聚合报文时,会更新该RB聚合报文对应的老化时间。当RB3出现故障时,RB3将无法发送携带了源MAC地址5、域标识2、RB3的Nickname的RB聚合报文,当软件转发表项中维护的源MAC地址5、域标识2、RB3的Nickname对应的老化时间超时时,则RB1确定源MAC地址5、域标识2、RB3的Nickname对应的RB3发生故障。进一步的,如果RB1又收到携带了源MAC地址5、域标识2、RB3的Nickname的RB聚合报文,则按照上述流程重新维护软件转发表项即可。
方式二、RB在收到第三RB聚合报文时,如果第三RB聚合报文中携带的域标识与本RB对应的域标识相同,则本RB周期性的向第三RB聚合报文对应的RB发送第三ISIS报文,并接收第三RB聚合报文对应的RB周期性返回的第四ISIS报文。如果RB在预设时间内未收到第三RB聚合报文对应的RB发送的第四ISIS报文,则RB确定第三RB聚合报文对应的RB发生故障,并广播第五ISIS报文,第五ISIS报文中携带第三RB聚合报文对应的RB对应的域标识和设备标识,由收到第五ISIS报文的各RB基于第五ISIS报文中携带的域标识和设备标识确定第三RB聚合报文对应的RB发生故障。
例如,RB1在收到RB2发送的第三RB聚合报文时,该第三RB聚合报文中携带的域标识1与本RB1对应的域标识1相同,RB1周期性(如1秒)的向RB2发送第三ISIS报文(单播ISIS报文),并接收RB2周期性返回的第四ISIS报文(单播ISIS报文)。如果RB2出现故障,则RB2将无法向RB1发送第四ISIS报文,基于此,如果RB1在预设时间内未收到RB2发送的第四ISIS报文,则RB1确定RB2发生故障,并广播第五ISIS报文,该第五ISIS报文中携带RB2对应的域标识(域标识1)和设备标识(RB2的Nickname)。收到第五ISIS报文的各RB(如RB3、RB4等)基于第五ISIS报文中携带的域标识(域标识1)和设备标识(RB2的Nickname),确定RB2发生故障。
在实际应用中,也可以使用BFD(Bidirectional Forwarding Detection,双向转发检测)技术或者CFD(Connectivity Fault Detection,连通错误检测)技术进行心跳检测。在使用BFD技术进行心跳检测时,则RB1与RB2之间不再周期性的传输第三ISIS报文和第四ISIS报文,而是周期性的传输BFD报文。在使用CFD技术进行心跳检测时,则RB1与RB2之间不再周期性的传输第三ISIS报文和第四ISIS报文,而是周期性的输CFD报文。
针对发送给外网设备的组播报文和广播报文,需要保证与该外网设备连接的两个RB中只有一个RB向外网设备发送组播报文和广播报文。基于此,RB在收到第三RB聚合报文时,如果第三RB聚合报文中携带的域标识与本RB对应的域标识相同,则RB比较第三RB聚合报文中携带设备标识与本RB的设备标识;如果第三RB聚合报文中携带设备标识大于本RB的设备标识,RB禁止通过域标识对应的RB聚合口发送组播报文和广播报文;如果第三RB聚合报文中携带设备标识小于本RB的设备标识,RB允许通过域标识对应的RB聚合口发送组播报文和广播报文;或者,如果第三RB聚合报文中携带设备标识小于本RB的设备标识,RB禁止通过域标识对应的RB聚合口发送组播报文和广播报文;如果第三RB聚合报文中携带设备标识大于本RB的设备标识,RB允许通过域标识对应的RB聚合口发送组播报文和广播报文。
进一步的,在RB禁止通过域标识对应的RB聚合口发送组播报文和广播报文之后,如果本RB确定该第三RB聚合报文对应的RB发生故障时,则本RB需要允许域标识对应的RB聚合口发送组播报文和广播报文。
其中,RB通过将RB聚合口设置为阻塞状态,以禁止RB通过该RB聚合口向外网设备发送组播报文和广播报文。如果RB聚合口未被设置为阻塞状态,则RB可以通过该RB聚合口向外网设备发送组播报文和广播报文。
本发明实施例中,当外网设备不支持动态聚合时,则以静态聚合的方式,手工在外网设备上配置聚合口,并手工在RB上配置RB聚合口。当外网设备支持动态聚合时,则外网设备与RB之间可以通过LACP(Link AggregationControl Protocol,链路汇聚控制协议)协议,在外网设备上配置聚合口,并在RB上配置RB聚合口。其中,在通过LACP协议配置聚合口时,RB通过RB聚合口发送的LACP报文的优先级被设为0,以保证由外网设备选择不同的物理端口作为聚合口,继而保证不同RB上的物理端口作为RB聚合口。
本发明实施例中,当相同域标识的RB聚合口对应的两个RB被分割到两个无法进行通信的TRILL网络中时,由于TRILL网络断裂,因此,这两个RB所在的TRILL网络会认为另一个TRILL网络中的RB接入故障,本TRILL网络将使用本TRILL网络的RB与外网设备进行通信。进一步的,由于外网设备接入两个TRILL网络的端口为聚合口,因此,不会产生环路。
本发明实施例中,当RB的故障恢复时,外网设备会继续通过聚合口发送报文给故障恢复的RB,该故障恢复的RB会学习到源MAC地址,并按照上述流程进行处理,即广播RB聚合报文和ISIS报文,从而将各RB上维护的硬件转发表项和软件转发表项的相关内容重新学习到该故障恢复的RB。
基于上述技术方案,本发明实施例中,可以将外网设备连接到TRILL网络中的多个RB,并在多个RB之间进行链路负载分担,大大增加了外网设备接入网络的可靠性,当有RB发生故障时,能够通过最短路径进行流量转发。
基于与上述方法同样的发明构思,本发明实施例中还提供一种路由桥RB,当外网设备连接到多链路透明互联TRILL网络的多个RB时,针对多个RB中的每个RB,如图5所示,所述RB具体包括:
配置模块11,用于将所述外网设备对应的端口加入到RB聚合口,并为所述RB聚合口配置域标识;其中,为所述RB聚合口配置的域标识与多个RB中的其它RB为所述RB聚合口配置的域标识相同;
发送模块12,用于从RB聚合口学习到所述外网设备的介质访问控制MAC地址时,广播第一RB聚合报文,所述第一RB聚合报文中携带了所述外网设备的MAC地址、所述RB聚合口对应的域标识、所述RB的设备标识;
维护模块13,用于在收到第二RB聚合报文时,在软件转发表项中维护所述第二RB聚合报文中携带的域标识、MAC地址和设备标识间的对应关系;
更新模块14,用于在确定其它RB发生故障时,确定该发生故障的其它RB对应的域标识,通过所述域标识查询软件转发表项,并将软件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识,并将硬件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识。
所述发送模块12,还用于在从RB聚合口学习到所述外网设备的MAC地址时,广播第一中间系统到中间系统ISIS报文;其中,所述第一ISIS报文中携带了所述外网设备的MAC地址和所述RB的设备标识;
所述维护模块13,还用于在接收到第二ISIS报文时,在硬件转发表项中维护所述第二ISIS报文中携带的MAC地址以及设备标识之间的对应关系。
所述维护模块13,具体用于在收到其它RB广播的第二RB聚合报文时,判断所述软件转发表项中是否有所述第二RB聚合报文对应的记录;如果没有所述第二RB聚合报文对应的记录,则判断所述软件转发表项中是否有所述第二RB聚合报文中携带的域标识;如果没有所述第二RB聚合报文中携带的域标识,则在所述软件转发表项中记录所述第二RB聚合报文中携带的域标识,并在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识;如果有所述第二RB聚合报文中携带的域标识,则直接在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识。
所述维护模块13,进一步用于在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系时,为所述对应关系设置老化时间;在其它RB周期性的广播第二RB聚合报文时,在每次收到所述第二RB聚合报文时,更新所述第二RB聚合报文对应的老化时间;
所述更新模块14,进一步用于当所述老化时间超时时,确定所述老化时间对应的第二RB聚合报文所对应的其它RB发生故障。
所述发送模块12,还用于在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与所述RB对应的域标识相同,则周期性的向所述第三RB聚合报文对应的RB发送第三ISIS报文;
所述更新模块14,进一步用于接收所述第三RB聚合报文对应的RB周期性返回的第四ISIS报文;如果在预设时间内未收到第四ISIS报文,则确定所述第三RB聚合报文对应的RB发生故障;
所述发送模块12,还用于在确定所述第三RB聚合报文对应的RB发生故障时,广播第五ISIS报文,所述第五ISIS报文中携带所述第三RB聚合报文对应的RB对应的域标识和设备标识,由收到所述第五ISIS报文的各RB基于所述第五ISIS报文中携带的域标识和设备标识,确定所述第三RB聚合报文对应的RB发生故障。
所述RB,还包括:
处理模块15,用于在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与所述RB对应的域标识相同,则比较所述第三RB聚合报文中携带设备标识与所述RB的设备标识;如果所述第三RB聚合报文中携带设备标识大于所述RB的设备标识,则禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识小于所述RB的设备标识,则允许通过所述域标识对应的RB聚合口发送组播报文和广播报文;或者,如果所述第三RB聚合报文中携带设备标识小于所述RB的设备标识,则禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识大于所述RB的设备标识,则允许通过所述域标识对应的RB聚合口发送组播报文和广播报文。
其中,本发明装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本发明所必须的。本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。以上公开的仅为本发明的几个具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (12)

1.一种通过多路由桥RB聚合接入网络的方法,其特征在于,当外网设备连接到多链路透明互联TRILL网络中的多个RB时,所述方法包括:
针对所述多个RB中的每个RB,各RB分别将所述外网设备对应的端口加入到RB聚合口,并分别为所述RB聚合口配置相同的域标识;
RB在从RB聚合口学习到所述外网设备的介质访问控制MAC地址时,所述RB广播第一RB聚合报文,所述第一RB聚合报文中携带了所述外网设备的MAC地址、所述RB聚合口对应的域标识、所述RB的设备标识;
所述RB在收到其它RB广播的第二RB聚合报文时,在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识间的对应关系;
所述RB在确定其它RB发生故障时,确定该发生故障的其它RB对应的域标识,通过所述域标识查询软件转发表项,并将软件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识,并将硬件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识。
2.如权利要求1所述的方法,其特征在于,所述方法进一步包括:
所述RB在从RB聚合口学习到所述外网设备的MAC地址时,所述RB广播第一中间系统到中间系统ISIS报文;其中,所述第一ISIS报文中携带了所述外网设备的MAC地址和所述RB的设备标识;所述RB在接收到其它RB广播的第二ISIS报文时,在所述硬件转发表项中维护所述第二ISIS报文中携带的MAC地址以及设备标识之间的对应关系。
3.如权利要求1所述的方法,其特征在于,所述RB在收到其它RB广播的第二RB聚合报文时,在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识间的对应关系的过程,具体包括:
所述RB在收到其它RB广播的第二RB聚合报文时,判断所述软件转发表项中是否有所述第二RB聚合报文对应的记录;如果没有所述第二RB聚合报文对应的记录,则所述RB判断所述软件转发表项中是否有所述第二RB聚合报文中携带的域标识;如果没有所述第二RB聚合报文中携带的域标识,则所述RB在所述软件转发表项中记录所述第二RB聚合报文中携带的域标识,并在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识;如果有所述第二RB聚合报文中携带的域标识,则所述RB在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识。
4.如权利要求1所述的方法,其特征在于,所述方法进一步包括:
所述RB在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系时,为所述对应关系设置老化时间;
在其它RB周期性的广播第二RB聚合报文时,所述RB每次收到所述第二RB聚合报文时,更新所述第二RB聚合报文对应的老化时间;
当所述老化时间超时时,所述RB确定所述其它RB发生故障。
5.如权利要求1所述的方法,其特征在于,所述方法进一步包括:
所述RB在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与本RB对应的域标识相同,则所述RB周期性的向第三RB聚合报文对应的RB发送第三ISIS报文,并接收第三RB聚合报文对应的RB周期性返回的第四ISIS报文;如果所述RB在预设时间内未收到第四ISIS报文,则所述RB确定第三RB聚合报文对应的RB发生故障,并广播第五ISIS报文,所述第五ISIS报文中携带第三RB聚合报文对应的RB对应的域标识和设备标识,由收到所述第五ISIS报文的各RB基于所述第五ISIS报文中携带的域标识和设备标识确定第三RB聚合报文对应的RB发生故障。
6.如权利要求1所述的方法,其特征在于,所述方法进一步包括:
所述RB在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与本RB对应的域标识相同,则所述RB比较所述第三RB聚合报文中携带设备标识与本RB的设备标识;如果所述第三RB聚合报文中携带设备标识大于本RB的设备标识,所述RB禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识小于本RB的设备标识,所述RB允许通过所述域标识对应的RB聚合口发送组播报文和广播报文;或者,如果所述第三RB聚合报文中携带设备标识小于本RB的设备标识,所述RB禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识大于本RB的设备标识,所述RB允许通过所述域标识对应的RB聚合口发送组播报文和广播报文。
7.一种路由桥RB,其特征在于,当外网设备连接到多链路透明互联TRILL网络的多个RB时,针对多个RB中的每个RB,所述RB具体包括:
配置模块,用于将所述外网设备对应的端口加入到RB聚合口,并为所述RB聚合口配置域标识;其中,为所述RB聚合口配置的域标识与多个RB中的其它RB为所述RB聚合口配置的域标识相同;
发送模块,用于从RB聚合口学习到所述外网设备的介质访问控制MAC地址时,广播第一RB聚合报文,所述第一RB聚合报文中携带了所述外网设备的MAC地址、所述RB聚合口对应的域标识、所述RB的设备标识;
维护模块,用于在收到第二RB聚合报文时,在软件转发表项中维护所述第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系;
更新模块,用于在确定其它RB发生故障时,确定该发生故障的其它RB对应的域标识,通过所述域标识查询软件转发表项,并将软件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识,并将硬件转发表项中记录的该发生故障的其它RB的设备标识更新为该发生故障的其它RB对应的域标识在软件转发表项中对应的未发生故障的RB的设备标识。
8.如权利要求7所述的RB,其特征在于,
所述发送模块,还用于在从RB聚合口学习到所述外网设备的MAC地址时,广播第一中间系统到中间系统ISIS报文;其中,所述第一ISIS报文中携带了所述外网设备的MAC地址和所述RB的设备标识;
所述维护模块,还用于在接收到第二ISIS报文时,在所述硬件转发表项中维护所述第二ISIS报文中携带的MAC地址以及设备标识之间的对应关系。
9.如权利要求7所述的RB,其特征在于,
所述维护模块,具体用于在收到其它RB广播的第二RB聚合报文时,判断所述软件转发表项中是否有所述第二RB聚合报文对应的记录;如果没有所述第二RB聚合报文对应的记录,则判断所述软件转发表项中是否有所述第二RB聚合报文中携带的域标识;如果没有所述第二RB聚合报文中携带的域标识,则在所述软件转发表项中记录所述第二RB聚合报文中携带的域标识,并在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识;如果有所述第二RB聚合报文中携带的域标识,则直接在所述域标识下记录所述第二RB聚合报文中携带的MAC地址和设备标识。
10.如权利要求7所述的RB,其特征在于,
所述维护模块,进一步用于在软件转发表项中维护第二RB聚合报文中携带的域标识、MAC地址和设备标识之间的对应关系时,为所述对应关系设置老化时间;在其它RB周期性的广播第二RB聚合报文时,在每次收到所述第二RB聚合报文时,更新所述第二RB聚合报文对应的老化时间;
所述更新模块,进一步用于当所述老化时间超时时,确定所述老化时间对应的第二RB聚合报文所对应的其它RB发生故障。
11.如权利要求7所述的RB,其特征在于,
所述发送模块,还用于在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与所述RB对应的域标识相同,则周期性的向所述第三RB聚合报文对应的RB发送第三ISIS报文;
所述更新模块,进一步用于接收所述第三RB聚合报文对应的RB周期性返回的第四ISIS报文;如果在预设时间内未收到第四ISIS报文,则确定所述第三RB聚合报文对应的RB发生故障;
所述发送模块,还用于在确定所述第三RB聚合报文对应的RB发生故障时,广播第五ISIS报文,所述第五ISIS报文中携带所述第三RB聚合报文对应的RB对应的域标识和设备标识,由收到所述第五ISIS报文的各RB基于所述第五ISIS报文中携带的域标识和设备标识,确定所述第三RB聚合报文对应的RB发生故障。
12.如权利要求7所述的RB,其特征在于,还包括:
处理模块,用于在收到第三RB聚合报文时,如果所述第三RB聚合报文中携带的域标识与所述RB对应的域标识相同,则比较所述第三RB聚合报文中携带设备标识与所述RB的设备标识;如果所述第三RB聚合报文中携带设备标识大于所述RB的设备标识,则禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识小于所述RB的设备标识,则允许通过所述域标识对应的RB聚合口发送组播报文和广播报文;或者,如果所述第三RB聚合报文中携带设备标识小于所述RB的设备标识,则禁止通过所述域标识对应的RB聚合口发送组播报文和广播报文;如果所述第三RB聚合报文中携带设备标识大于所述RB的设备标识,则允许通过所述域标识对应的RB聚合口发送组播报文和广播报文。
CN201410449604.4A 2014-09-04 2014-09-04 一种通过多rb聚合接入网络的方法和设备 Active CN104253757B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410449604.4A CN104253757B (zh) 2014-09-04 2014-09-04 一种通过多rb聚合接入网络的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410449604.4A CN104253757B (zh) 2014-09-04 2014-09-04 一种通过多rb聚合接入网络的方法和设备

Publications (2)

Publication Number Publication Date
CN104253757A true CN104253757A (zh) 2014-12-31
CN104253757B CN104253757B (zh) 2018-04-06

Family

ID=52188311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410449604.4A Active CN104253757B (zh) 2014-09-04 2014-09-04 一种通过多rb聚合接入网络的方法和设备

Country Status (1)

Country Link
CN (1) CN104253757B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450518B (zh) * 2015-12-04 2018-08-03 福建星网锐捷网络有限公司 一种mpls-tp环网故障排除方法及装置
WO2022048412A1 (zh) * 2020-09-03 2022-03-10 华为技术有限公司 一种生成表项的方法、发送报文的方法、设备及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072241A (zh) * 2006-05-11 2007-11-14 华为技术有限公司 提高最短路径桥可靠性的方法及装置
US20140148143A1 (en) * 2009-07-01 2014-05-29 Apple Inc. Methods And Apparatus For Optimization Of Femtocell Network Management
CN103947160A (zh) * 2011-12-07 2014-07-23 华为技术有限公司 通过基于trill的网络承载fcoe帧的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072241A (zh) * 2006-05-11 2007-11-14 华为技术有限公司 提高最短路径桥可靠性的方法及装置
US20140148143A1 (en) * 2009-07-01 2014-05-29 Apple Inc. Methods And Apparatus For Optimization Of Femtocell Network Management
CN103947160A (zh) * 2011-12-07 2014-07-23 华为技术有限公司 通过基于trill的网络承载fcoe帧的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105450518B (zh) * 2015-12-04 2018-08-03 福建星网锐捷网络有限公司 一种mpls-tp环网故障排除方法及装置
WO2022048412A1 (zh) * 2020-09-03 2022-03-10 华为技术有限公司 一种生成表项的方法、发送报文的方法、设备及系统

Also Published As

Publication number Publication date
CN104253757B (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN103338161B (zh) 一种实现跨设备聚合的方法和设备
US11297000B2 (en) Data transmission method, apparatus, and system
CN104104570A (zh) Irf系统中的聚合处理方法及装置
US20160204959A1 (en) Member device of stacked switches system
CN103281247A (zh) 一种数据中心网络的通用路由方法及系统
CN101179453B (zh) 一种链路状态检测方法和系统
EP2798800B1 (en) Expanding member ports of a link aggregation group between clusters
CN103795570B (zh) 环形拓扑的堆叠交换机系统的单播报文恢复方法及装置
CN103166811A (zh) 一种mad检测方法和设备
CN109088819A (zh) 一种报文转发方法、交换机及计算机可读存储介质
US10652145B2 (en) Managing data frames in switched networks
CN104038447A (zh) 一种报文传输方法和设备
CN101924699A (zh) 报文转发处理方法、系统和运营商边缘设备
CN101227399A (zh) 报文传输方法、系统及转发节点
CN102088415A (zh) Mac地址撤销的方法及设备
CN110113260A (zh) 一种转发表更新方法及装置
CN101783769A (zh) 链路故障时报文转发的方法和设备
CN104253757A (zh) 一种通过多rb聚合接入网络的方法和设备
CN103200107A (zh) 一种报文的传输方法和设备
CN104253747A (zh) 一种报文在链路聚合组中进行1:1保护的传输方法及装置
CN104394075A (zh) 一种报文传输的方法和设备
CN102104533A (zh) Rrpp单环网络数据发送路径优化方法及环网节点
US10110474B2 (en) Updating interface list of multi-link group
CN101616080B (zh) 一种弹性分组环报文保序方法、装置和网络设备
CN103997422A (zh) 一种ip接口板的故障处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Applicant after: Xinhua three Technology Co., Ltd.

Address before: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No.

Applicant before: Huasan Communication Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant