CN113992569A - Sdn网络中多路径业务收敛方法、装置及存储介质 - Google Patents

Sdn网络中多路径业务收敛方法、装置及存储介质 Download PDF

Info

Publication number
CN113992569A
CN113992569A CN202111148932.7A CN202111148932A CN113992569A CN 113992569 A CN113992569 A CN 113992569A CN 202111148932 A CN202111148932 A CN 202111148932A CN 113992569 A CN113992569 A CN 113992569A
Authority
CN
China
Prior art keywords
group
entries
flow
service
sdn controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111148932.7A
Other languages
English (en)
Other versions
CN113992569B (zh
Inventor
赵晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202111148932.7A priority Critical patent/CN113992569B/zh
Publication of CN113992569A publication Critical patent/CN113992569A/zh
Application granted granted Critical
Publication of CN113992569B publication Critical patent/CN113992569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/24Multipath
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/28Routing or path finding of packets in data switching networks using route fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/74Address processing for routing
    • H04L45/745Address table lookup; Address filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/35Switches specially adapted for specific applications
    • H04L49/354Switches specially adapted for specific applications for supporting virtual local area networks [VLAN]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/70Virtual switches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种SDN网络中多路径业务收敛方法、装置及存储介质,用于解决SDN网络中多路径业务可靠性的技术问题。本发明通过虚拟交换机上快速故障转移组表检测与控制器的链路是否正常,在链路故障时,在有等价多路径转发流表失效的情况下,通过组表项的切换,将东西向业务流量汇聚到出口网关转发给指定业务组,确保多路径负载均衡转发业务正常收敛。待链路正常后,通过组表的切换使等价多路径转发流表项重新生效,负载均衡流量重新恢复为在虚拟交换机上直接分布式转发。本发明可提高SDN网络中多路径业务的可靠性。

Description

SDN网络中多路径业务收敛方法、装置及存储介质
技术领域
本发明涉及技术领域,尤其涉及一种SDN网络中多路径业务收敛方法、装置及存储介质。
背景技术
5G高速率、低功耗、低延迟、大容量等特点提供了更快、更安全更高性能的通信体验。不同场景,对于网络的特性要求是不同的,有的甚至是矛盾的。5G可以根据逻辑网络需求,把一张物理上的网络,按应用场景划分为N张逻辑网络。不同的逻辑网络,服务于不同场景。
为满足5G时代各行各业的需求,5G核心网需要适应业务快速变化,具备多业务多用户隔离,网络服务快速开通、灵活变更的能力。因此需要一种新型的电信网络架构,可为5G核心网业务提供一个资源可弹性伸缩、流量可全局调度、能力可全面开放的新型服务环境。
网络云架构应运而生,通过虚拟化(例如OpenStack)、云计算、网络功能虚拟化(Network Function Virtualization,NFV)等技术实现电信业务云化,通过引入软件定义网络(Software Defined Network,SDN)解决方案和虚拟扩展局域网(Virtual eXtensibleLocal Area Network,VXLAN)承载技术,可提供整网的智能动态管控,实现NFV的快速部署,实现内部网络连接的自动配置,对网络硬件的灵活调度,提高网络收敛速度,提供大规模组网能力,故障快速检测等,进一步适配未来5G业务持续扩展。
为满足5G大业务流量,以及多用户同时访问,需要将流量负载分担到虚拟化网络功能(Virtual Network Functions,VNF)中的不同虚拟机(Virtual Machine,VM)上,多个VM共用同一个业务IP地址对外提供服务。通过在路由侧配置目的IP是该业务IP,静态路由的下一跳是每个负载分担的VM对应的IP地址的静态路由,实现业务的负载分担。
SDN技术给网络带来空前的变革,但对于网络本身而言,可靠性仍然是用户最关心的。一旦某个虚拟机故障,业务也可以快速收敛到正常工作的其他的虚拟机。在SDN组网中,由虚拟化边界网关协议(virtual Border Gateway Protocol,vBGP)组件跟路由反射器(Route Reflector,RR)设备建立BGP邻居,从RR设备上收集以太网虚拟专有网络(EthernetVirtual Private Network,EVPN)路由,vBGP通知给控制器,控制器根据收到的EVPN路由转换成相应的流表,下发到虚拟交换机vSwitch上,指导vSwitch转发。一旦SDN控制器出现故障,期间多路径负载均衡路由发生变更,控制器无法下发流表到vSwitch,从而vSwtich上路由无法收敛,业务流量依然会被送到异常路径或虚拟机上去,导致业务中断。因此,需要一个“逃生”技术来弥补可靠性的缺失。
发明内容
有鉴于此,本发明提供一种SDN网络中多路径业务收敛方法、装置及存储介质,用于解决SDN网络中多路径业务可靠性的技术问题。
基于本发明实施例的一方面,本发明提供了一种SDN网络中多路径业务收敛方法,该方法应用于虚拟交换机,多个虚拟机负载分担指定业务的业务流量,SDN控制器在所述虚拟交换机上已下发所述指定业务的等价多路径路由生成的流表项,所述方法包括:
在所述虚拟交换机与SDN控制器之间的链路故障时,通过快速故障转移组表将所述指定业务的业务流量转发到出口网关,由所述出口网关代为转发所述指定业务的业务流量;
在所述虚拟交换机与SDN控制器之间的链路正常时,通过快速故障转移组表将所述指定业务的业务流量导向到边界网关路由流表进行匹配转发,所述边界网关路由流表包含所有由边界网关协议组件上报的路由生成的流表项;
在所述虚拟交换机与SDN控制器之间的链路正常时,当负载分担所述指定业务的多个虚拟机中的一个或多个虚拟机故障时,所述虚拟交换机与所述SDN控制器保持所述指定业务的等价多路径路由生成的流表项的同步更新。
进一步地,在所述虚拟交换机中还包括基本流表,所述基本流表中包括非边界网关协议组件上报的路由生成的流表项及快速故障转移流表项;
所述指定业务的业务流量首先匹配所述基本流表,通过所述基本流表中的快速故障转移流表项跳转到所述快速故障转移组表进行组表项的匹配。
进一步地,所述通过快速故障转移组表将所述指定业务的业务流量转发到出口网关的方法为:
基于组表类型为快速故障转移类型的组表项的检测机制,检测所述虚拟交换机与SDN控制器之间的链路是否正常;
在链路故障的情况下,使所述快速故障转移组表中的第二组表项生效,发往所述指定业务的东西向报文匹配所述第二组表项进行转发;
所述第二组表项将所述东西向报文转发给所述出口网关;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时在所述出口网关上正常收敛到非故障的目的虚拟机。
进一步地,所述通过快速故障转移组表将所述指定业务的业务流量导向到边界网关路由流表进行匹配转发的方法为:
在检测到所述虚拟交换机与SDN控制器之间的链路正常时,使所述快速故障转移组表中的第一组表项生效,发往所述指定业务的东西向报文匹配所述第一组表项进行转发;所述第一组表项将所述东西向报文导向到边界网关路由流表进行匹配转发;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时,通过与SDN控制器的流表同步正常收敛到非故障的目的虚拟机。
进一步地,实现所述快速故障转移组表中第一组表项和第二组表项生效状态切换的方式为:
在检测到与SDN控制器之间的链路正常时,将所述第一组表项置为有效,将所述第二组表项置为无效;否则将所述第一组表项置为无效,将第二组表项置为有效;报文只匹配有效的组表项;或,
在检测到与SDN控制器之间的链路正常时,使第一组表项的优先级高于第二组表项;否则使第一组表项的优先级低于第二组表项;报文首先匹配优先级高的组表项;或,
在检测到与SDN控制器之间的链路正常时,将第一组表项的出口指向所述边界网关路由流表;否则将第一组表项的出口指向第二组表项。
基于本发明实施例的另一方面,本发明还提供了一种SDN网络中多路径业务收敛装置,该装置应用于虚拟交换机,多个虚拟机负载分担指定业务的业务流量,SDN控制器在所述虚拟交换机上已下发所述指定业务的等价多路径路由生成的流表项,该装置包括:
第一导流模块,用于在与SDN控制器之间的链路故障时,通过快速故障转移组表将所述指定业务的业务流量转发到出口网关,由所述出口网关代为转发所述指定业务的业务流量;
第二导流模块,用于在与SDN控制器之间的链路正常时,通过快速故障转移组表将所述指定业务的业务流量导向到边界网关路由流表进行匹配转发,所述边界网关路由流表包含所有由边界网关协议组件上报的路由生成的流表项;
流表平滑模块,用于在所述虚拟交换机与SDN控制器之间的链路正常时,当负载分担所述指定业务的多个虚拟机中的一个或多个虚拟机故障时,与所述SDN控制器保持所述指定业务的等价多路径路由生成的流表项的同步更新。
进一步地,所述装置还包括:
基本导流模块,用于在接收到所述指定业务的业务流量时首先匹配所述基本流表,通过所述基本流表中的快速故障转移流表项跳转到所述第一导流模块或第二导流模块执行;在所述基本流表中包括非边界网关协议组件上报的路由生成的流表项及快速故障转移流表项。
进一步地,所述第一导流模块包括:
检测单元,用于基于组表类型为快速故障转移类型的组表项的检测机制,检测与SDN控制器之间的链路是否正常;
第一切换单元,用于在链路故障的情况下,使所述快速故障转移组表中的第二组表项生效,发往所述指定业务的东西向报文匹配所述第二组表项进行转发;
第一转发单元,用于基于所述第二组表项将所述东西向报文转发给所述出口网关;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时在所述出口网关上正常收敛到非故障的目的虚拟机。
进一步地,所述第二导流模块包括:
第二切换单元,用于在检测到与SDN控制器之间的链路正常时,使所述快速故障转移组表中的第一组表项生效,发往所述指定业务的东西向报文匹配所述第一组表项进行转发;
第二转发单元,用于基于所述第一组表项将所述东西向报文导向到边界网关路由流表进行匹配转发;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时,通过与SDN控制器的流表同步正常收敛到非故障的目的虚拟机。
本发明通过虚拟交换机上快速故障转移组表检测与控制器的链路是否正常,在链路故障时,在有等价多路径转发流表失效的情况下,通过组表项的切换,将东西向业务流量汇聚到出口网关转发给指定业务组,确保多路径负载均衡转发业务正常收敛。待链路正常后,通过组表的切换使等价多路径转发流表项重新生效,负载均衡流量重新恢复为在虚拟交换机上直接分布式转发。本发明可提高SDN网络中多路径业务的可靠性。
附图说明
为了更加清楚地说明本发明实施例或者现有技术中的技术方案,下面将对本发明实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本发明实施例的这些附图获得其他的附图。
图1为SDN网络中实现南北向流量和东西向流量的负载均衡组网结构示意图;
图2为本发明一实施例中SDN网络中虚拟机故障时业务收敛的示意图;
图3为本发明一实施例提供的SDN控制器与vSwitch之间链路故障组网示意图;
图4本发明一实施例中基于改进的流表结构实现多路径负载均衡转发业务正常收敛的过程示意图;
图5为本发明一实施例提供的一种SDN网络中多路径业务收敛装置结构示意图;
图6为本发明一实施例提供的一种电子设备结构示意图。
具体实施方式
在本发明实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本发明实施例。本发明实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。本发明中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图2为SDN网络中实现南北向流量和东西向流量的负载均衡组网结构示意图。该组网结构使用非对称转发模型,利用路由携带原始下一跳,将流量迭代到VM对应IP,根据路由真实下一跳的个数进行负载分担,同时开启下一跳双向转发检测(BidirectionalForwarding Detection,BFD)检测功能,当某个虚拟机故障时,SDN控制器感知路由BFD状态,刷新Openflow表项,实现业务流量从故障虚拟机到其他负载分担虚拟机的切换。
基于图1的组网,移动终端(例如手机)通过VNF和Internet互访的流量被称为南北向流量,VNF1和VNF2之间的流量传输被称为东西向流量。为了实现南北向流量和东西向流量的负载均衡,用户需要在SDN网络中的网关SDN-GW和虚拟交换机vSwitch进行负载分担功能,具体处理流程如下:
1)VM5、VM6上线,SDN控制器在虚拟交换机OVS(Openflow Virtual Switch)例如vSwitch1和vSwitch2上下发VM5和VM6的MAC转发流表以及IP转发流表,并将VM5和VM6的信息转换为EVPN路由,通过vBGP发布给路由反射器RR(可由图中网关充当RR);
2)SDN-GW网关收到路由后,把VM5和VM6的MAC和IP地址添加到地址解析协议(Address Resolution Protocol,ARP)表项中;
3)VM5和VM6对外提供业务的IP地址为IP1,IP1是为VNF2中配置的业务IP地址,为实现在VNF2上业务流量在VM5和VM6之间的负载分担,用户通过网络管理平台配置静态路由,SDN控制器收到的静态路由的示例如下:
目的IP:IP1,下一跳IP:vm5 IP,启动BFD
目的IP:IP1,下一跳IP:vm6 IP,启动BFD
VM5和VM6使用相同的业务IP地址,通过配置等价路由的方式将业务流量引导到VM5和VM6两个虚拟机上。
4)SDN控制器下发上述用户配置的静态路由,其中携带原始下一跳、BFD等相关配置到SDN_GW网关;
5)SDN_GW网关针对每个下一跳分别发送BFD echo报文。
网关SDN_GW1发送给VM5和VM6的BFD echo报文示例如下:
目的IP为GW_IP1,目的MAC为VM5 MAC,VXLAN ID为VM5的L2VNI,发送给vSwitch2;
目的IP为GW_IP1,目的MAC为VM6 MAC,VXLAN ID为VM6的L2VNI,发送给vSwitch2;
BFD echo报文格式约定目的IP为发送者自己,基于此,目的端收到报文后可进行报文反弹,网关收到反弹的BFD echo报文后就可以判定这个路径是否正常。
6)BFD检测报文到达目的vSwitch2后,根据目的MAC匹配转发流表,将报文送给对应的虚拟机VM5或VM6;
7)虚拟机VM5或VM6收到BFD echo报文后,查找VNF网元虚拟机自身的路由表项,将BFD echo报文反弹出去;
8)vSwitch2收到虚拟机发送的BFD反弹报文(目的IP为分布式网关SDN_GW1的地址GW_IP1,目的MAC为SDN_GW1的MAC),匹配缺省流表,将报文送给网关SDN_GW1;
9)网关SDN_GW1收到BFD反弹报文后,将BFD会话状态设置为UP状态,将SDN控制器下发的到VM5和VM6的静态路由表项生效,两条路由表项形成等价路由。同时,网关会发布该路由表项对应的type5五类网段路由给vBGP。
10)vBGP收到五类路由后,告知SDN控制器,控制器在vSwitch2上下发到VNF2中IP1的等价多路径ECMP表项,下一跳为VM5和VM6。
11)如果VM5故障,网关SDN_GW1收不到VM5的BFD回应报文,BFD Session状态被置为Down,路由(目的IP:IP1,下一跳IP:vm5 IP)失效,网关通知vBGP该路由撤销;
12)vBGP收到路由撤销消息后,通知SDN控制器,控制器修改vSwitch2上的流表,将目的地址为IP1的ECMP表项的下一跳修改为VM6。此时,其他虚拟机访问IP1的流量都会收敛到VM6。
图2为本发明一实施例中SDN网络中虚拟机故障时业务收敛的示意图,在VM5故障时,南北向和东西向流量将都收敛到VM6上。
基于图1示例的组网环境,当SDN控制器失联(包括链路故障、SDN控制器端口故障等情况)时,依赖位于SDN控制器所在主机上的vBGP组件进行路由转换的负载均衡业务流量将无法收敛到正常虚拟机。当控制器与vSwitch2失联后,VM5故障,SDN_GW1网关通过BFD检测到VM5故障后,将路由收敛到VM6上,正常情况下,网关会同时将路由撤销信息通过EVPN路由发布给vBGP。vBGP收到路由撤销消息后告知控制器。但此时控制器已经失联,控制器无法更新vSwitch1和vSwitch2上的Openflow流表,东西向业务流量无法收敛到VM6,导致东西向业务部分断流。
基于上述的对技术问题的分析,为解决当控制器故障或失联时,等价多路径负载均衡业务流量在某些虚拟机发生故障情况下,东西向业务流量无法收敛到正常的虚拟机上的技术问题,本发明提供了一种SDN网络中多路径业务收敛方法及相应的装置和设备。
本发明的基本思想是:通过vSwtich上快速故障转移FastFailover组表检测与控制器的链路是否正常,在链路故障时,在有等价多路径转发流表失效的情况下,通过FastFailover组表项的切换,将负载均衡的东西向业务流量汇聚到出口网关(border)转发给指定业务的业务组,确保多路径负载均衡转发业务正常收敛。单路径转发业务流量(主机侧虚拟机访问主机侧虚拟机)依然在vSwtich上分布式转发,减小对出口网关的流量转发冲击。待控制器与vSwitch之间的链路正常后,FastFailover组表检测到控制器连接正常时,使等价多路径转发流表项重新生效,负载均衡流量重新恢复为在vSwtich上直接分布式转发。
以下表1为SDN控制器中原有业务流表的结构示意。
表1
优先级高 非vBGP上报路由生成的流表项
优先级低 vBGP上报路由生成的流表项
本发明提供的技术方案对SDN控制器中的业务流表进行了改进。本发明中,将流表项分成两类,一类是非vBGP组件上报的路由生成的流表项,另一类是vBGP组件上报的路由生成的流表项。非vBGP上报的路由生成的流表项具有较高的优先级,vBGP上报的路由生成的流表项具有较低的优先级。本发明实施例中,将vBGP上报的路由生成的流表项存放到一个新的表边界网关路由流表即vBGP流表中,将非vBGP组件上报的路由生成的流表项存放在基础流表中,基础流表中除包括原有流表中除去vBGP组件上报的路由生成的流表项之外还包括本发明新增的一条流表项,本发明将该新增的流表项命名为快速故障转移流表项即FastFailover流表项,该新增流表项的优先级设置为低于非vBGP组件上报的路由生成的流表项,快速故障转移流表项指向快速故障转移组表即FastFailover组表。
Openflow协议规范中,组表(Group Table)是一个行为桶的列表和选择其中一个或多个桶以应用到一个包基础上的方法。一个组表Group Table可包含多个组实体(groupentry,也可称为组表项),每个组表项的结构如下表2所示:
表2
Figure BDA0003286446950000101
组编号group identifier:用于唯一标识虚拟交换机vswitch中的一个组实体(group entry)。
组类型group type:用于确定组的语义,组类型包括ALL、Select、Indirect和FastFailover几类(请参见Openflow协议规范的定义,此处不做赘述)。
本发明涉及到快速故障转移Fast Failover类型,该类型执行第一个有效的存储段。每一个动作桶与控制其有效性的一个指定端口/或组相关。组定义的存储段是有序的,首选选择与有效的端口或者组相关的第一个存储段。这个组类型可以使交换机改变转发,而无需通知控制器。如果没有有效的存储段,数据包将被丢弃。若支持组的快速故障转移需要在线监测,以确定要处理的指定动作储存段。
计数器counters:用以记录数据包被该组处理的次数。
动作存储段(动作桶)Action Buckets:是有序的,每个动作存储段包含了一组要执行的行动和相关参数。
本发明实施例中,可在FastFailover组表中有两个动作桶bucket,例如分别为bucket0和bucket1,分别对应两个组表项,其中,bucket0会监控SDN控制器端口状态。由于在Openflow协议中动作桶bucket是有序的,当所监控的控制器端口状态正常时,bucket0会生效,报文匹配bucket0对应的组表项后,报文会被送到vBGP流表进行流表项的匹配,使得流量在本地可以正常转发。一旦所监控的控制器端口状态异常,bucket0组表项失效,其后面的bucket1会变成生效状态,将业务流量送到出口网关,由出口网关进行转发,从而确保多路径负载均衡业务在某个目的虚拟机发生故障时,业务可以快速收敛。
仍以图1的组网示例为例,为了实现南北向流量和东西向流量的负载均衡,用户需要在SDN网络中的网关SDN-GW和虚拟交换机vSwitch进行负载分担功能。在SDN控制器与vSwitch交换机之间的链路故障产生之前,基于本发明提供的流表结构,SDN控制器将基本流表、FastFailover组表和vBGP流表下发到vSwitch1和vSwitch2。
在SDN控制器与vSwitch交换机之间的链路正常且VM5未产生故障之前,基于SDN控制器下发的基于VNF2的业务IP1的等价路由及BFD配置,出口网关SDN_GW与VM5和VM6已建立起BFD检测关系,
出口网关SDN_GW基于BFD检测,在VM5和MV6链路正常的情况下,将SDN控制器下发的到VM5和VM6的静态路由表项生效,两条路由表项形成等价路由。同时,出口网关SDN_GW会发布该路由表项对应的type5五类网段路由给vBGP。
vBGP收到五类路由后,告知SDN控制器,控制器在vBGP流表中生成到VNF2中IP1的等价多路径ECMP流表项到vBGP流表中,下一跳为VM5和VM6,并将等价多路径流表项下发给在vSwitch1和vSwitch2。
当VM5故障时,出口网关SDN_GW收不到VM5的BFD回应报文,BFD Session状态被置为Down,在出口网关SDN_GW侧的路由(目的IP:IP1,下一跳IP:vm5 IP)失效,网关会通知vBGP该路由撤销,位于SDN控制器的vBGP组件收到路由撤销消息后会将路由撤销信息发送给SDN控制器,在SDN控制器与vSwitch之间的链路正常的情况下,SDN控制器会修改vSwitch上的流表,将目的地址为IP1的ECMP等价多路径流表项的下一跳修改为VM6。此时,其他虚拟机访问IP1的流量都会收敛到VM6。
图3为本发明一实施例提供的SDN控制器与vSwitch之间链路故障组网示意图,在SDN控制器与vSwitch之间的链路出现故障(包括SDN控制器端口故障的情况)的情况下,SDN控制器无法更新vSwitch上的流表。
图4本发明一实施例中基于改进的流表结构实现多路径负载均衡转发业务正常收敛的过程示意图。结合图3和图4的示例,在vSwitch与SDN控制器失去联系的情况下,本发明提供的SDN网络中多路径业务收敛方法的步骤流程如下:
步骤401.虚拟交换机vSwitch检测与SDN控制器之间的链路是否正常,若链路故障则执行步骤402;若链路正常则执行步骤403;
vSwitch检测与SDN控制器之间的链路是否正常的方式可以是基于快速故障转移组表中组类型为Fast Failover(快速故障转移)类型的第一组表项即bucket0的检测机制实现。该检测机制可实现对SDN控制器的指定端口进行故障检测,检测SDN控制器的端口是否正常,实际上相当于检测vSwitch与SDN控制器之间的链路是否正常,因为检测报文需经过vSwitch端口、整条物理链路才能到达SDN控制器端口。
在流表层面,可以实现快速故障转移的实现方式可以为:当检测到vSwitch检测与SDN控制器之间的链路正常时,将第一组表项即bucket0对应的组表项置为失效状态,从而使报文匹配生效的第二组表项即bucket1对应的组表项。
实现第一组表项和第二组表项生效状态切换的方式可以有多种方式:
例如,一种方式为,为两个组表项直接设置状态字段,在检测到与SDN控制器之间的链路正常的情况下,将第一组表项置为有效,将第二组表项置为无效;在检测到与SDN控制器之间的链路故障的情况下,将第一组表项置为无效,将第二组表项置为有效,报文只匹配有效的组表项;
另一种方式可以为,依据组表项的优先级进行匹配,在检测与SDN控制器之间的链路正常的情况下,提高第一组表项的优先级(高于第二组表项);在检测与SDN控制器之间的链路故障的情况下,降低第一组表项的优先级(低于第二组表项),报文首先匹配优先级高的组表项。
第三种方式可以为,在检测与SDN控制器之间的链路正常的情况下,将第一组表项的出口指向vBGP流表,在检测与SDN控制器之间的链路故障的情况下,将第一组表项的出口指向第二组表项。本发明不限制实现第一组表项和第二组表项根据SDN控制器链路状态进行切换的方式。
步骤402.在vSwitch与SDN控制器之间的链路故障时,将基础流表中快速故障转移流表项指向的快速故障转移组表中的第一组表项置为失效状态,发往指定业务的东西向报文匹配快速故障转移组表中的第二组表项,第二组表项将报文转发给出口网关;所述指定业务的等价多路径路由在其中某个目的虚拟机故障的情况下在所述出口网关上正常收敛到非故障的目的虚拟机。
在SDN控制器失联后,当vSwitch1接收到发往故障虚拟机VM5的东西向报文时,首先匹配到基础流表中的FastFailover流表项,通过FastFailover流表项报文被转发到快速故障转移组表进行匹配,由于此时第一组表项处于失效状态,报文继续匹配处于生效状态的第二组表项即bucket1对应的组表项,该组表项将报文转发给出口网关进行转发。
本发明中所述的出口网关可以是基于EVPN协议部署在虚拟专有云(VirtualPrivate Cloud,VPC)网络中承担边界网关功能的边界设备。
以图3为例,第二组表项用于将发往故障虚拟机(例如VM5)的东西向报文转发到出口网关(例如SDN_GW1),由于出口网关已通过BFD检测到VM5故障,将路由收敛到VM6,因此,出口网关可将报文正常地发送给VNF2中VM6,从而保证东西向业务流不断流。
步骤403.在vSwitch与SDN控制器之间的链路正常时,基础流表中快速转移流表项指向的快速故障转移组表中的第一组表项被置为生效状态,发往指定业务的东西向报文匹配快速故障转移组表中生效的第一组表项,第一组表项将报文转发到边界网关路由流表即vBGP流表进行匹配转发;vBGP流表中包含所有由边界网关协议组件vBGP上报的路由生成的流表项且与SDN控制器保持同步;所述指定业务的等价多路径路由在该业务的某个目的虚拟机故障的情况下在所述vSwitch上已通过与SDN控制器的流表同步正常收敛到非故障的目的虚拟机;
在vSwitch与SDN控制器之间的链路正常的情况下,在出口网关SDN_GW通过BFD检测到VNF2中的VM5故障时,会将针对VNF2中业务地址IP1的等价多路径路由收敛到VM6,出口网关SDN_GW会将收敛后的路由通知给SDN控制器中的vBGP组件,vBGP组件将路由上报给SDN控制器,SDN控制器会与vSwitch之间进行流表平滑,即SDN控制器会基于变化的路由修改vBGP流表中与VNF2中业务IP1相关流表项,将业务收敛到VM6,将修改后的流表项下发到vSwitch1和vSwitch2的vBGP流表中(即控制器与OVS之间进行流表平滑)。因此,在vSwitch与SDN控制器之间的链路正常的情况下,通过vBGP流表转发指定业务的东西向流量会正常收敛到VM6上。
在第一组表项生效的情况下,当vSwitch1接收到发往目的地址为VNF2中业务IP1的报文时,在vBGP流表中的通过vBGP路由生成的转发流表项都生效,东西向流量可以在OVS上直接转发,不再绕行出口网关。
本发明技术方案带来的有益效果为:SDN控制器故障后,负载均衡流量汇聚到出口网关(border)转发,确保控制器故障后,多路径负载均衡转发业务正常收敛。单路径转发业务流量(主机侧虚拟机访问主机侧虚拟机)依然在vSwtich上横向转发,减小对出口网关的流量转发冲击。
图5为本发明一实施例提供的一种SDN网络中多路径业务收敛装置结构示意图,该装置500中的各功能模块可以采用软件、硬件或软硬件相结合的方式实现。该装置500应用于虚拟交换机,多个虚拟机负载分担指定业务的业务流量,SDN控制器在所述虚拟交换机上已下发所述指定业务的等价多路径路由生成的流表项,该装置500包括:
第一导流模块510,用于在与SDN控制器之间的链路故障时,通过快速故障转移组表将所述指定业务的业务流量转发到出口网关,由所述出口网关代为转发所述指定业务的业务流量;
第二导流模块520,用于在与SDN控制器之间的链路正常时,通过快速故障转移组表将所述指定业务的业务流量导向到边界网关路由流表进行匹配转发,所述边界网关路由流表包含所有由边界网关协议组件上报的路由生成的流表项;
流表平滑模块530,用于在所述虚拟交换机与SDN控制器之间的链路正常时,当负载分担所述指定业务的多个虚拟机中的一个或多个虚拟机故障时,与所述SDN控制器保持所述指定业务的等价多路径路由生成的流表项的同步更新。
进一步地,该装置500还包括基本导流模块540,用于在接收到所述指定业务的业务流量时首先匹配所述基本流表,通过所述基本流表中的快速故障转移流表项跳转到第一导流模块510或第二导流模块520执行;在所述基本流表中包括非边界网关协议组件上报的路由生成的流表项及快速故障转移流表项。
进一步地,第一导流模块510包括:
检测单元,用于基于组表类型为快速故障转移类型的组表项的检测机制,检测与SDN控制器之间的链路是否正常;
第一切换单元,用于在链路故障的情况下,使所述快速故障转移组表中的第二组表项生效,发往所述指定业务的东西向报文匹配所述第二组表项进行转发;
第一转发单元,用于基于所述第二组表项将所述东西向报文转发给所述出口网关;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时在所述出口网关上正常收敛到非故障的目的虚拟机。
进一步地,第二导流模块520包括:
第二切换单元,用于在检测到与SDN控制器之间的链路正常时,使所述快速故障转移组表中的第一组表项生效,发往所述指定业务的东西向报文匹配所述第一组表项进行转发;
第二转发单元,用于基于所述第一组表项将所述东西向报文导向到边界网关路由流表进行匹配转发;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时,通过与SDN控制器的流表同步正常收敛到非故障的目的虚拟机。
图6为本发明一实施例提供的一种电子设备结构示意图,该设备600包括:诸如中央处理单元(CPU)的处理器610、通信总线620、通信接口640以及存储介质630。其中,处理器610与存储介质630可以通过通信总线620相互通信。存储介质630内存储有计算机程序,当该计算机程序被处理器610执行时即可实现本发明提供的方法的各步骤的功能。
其中,存储介质可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。另外,存储介质还可以是至少一个位于远离前述处理器的存储装置。处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术,包括配置有计算机程序的非暂时性存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。此外,可按任何合适的顺序来执行本发明描述的过程的操作,除非本发明另外指示或以其他方式明显地与上下文矛盾。本发明描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本发明所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种SDN网络中多路径业务收敛方法,其特征在于,该方法应用于虚拟交换机,多个虚拟机负载分担指定业务的业务流量,SDN控制器在所述虚拟交换机上已下发所述指定业务的等价多路径路由生成的流表项,所述方法包括:
在所述虚拟交换机与SDN控制器之间的链路故障时,通过快速故障转移组表将所述指定业务的业务流量转发到出口网关,由所述出口网关代为转发所述指定业务的业务流量;
在所述虚拟交换机与SDN控制器之间的链路正常时,通过快速故障转移组表将所述指定业务的业务流量导向到边界网关路由流表进行匹配转发,所述边界网关路由流表包含所有由边界网关协议组件上报的路由生成的流表项;
在所述虚拟交换机与SDN控制器之间的链路正常时,当负载分担所述指定业务的多个虚拟机中的一个或多个虚拟机故障时,所述虚拟交换机与所述SDN控制器保持所述指定业务的等价多路径路由生成的流表项的同步更新。
2.根据权利要求1所述的方法,其特征在于,
在所述虚拟交换机中还包括基本流表,所述基本流表中包括非边界网关协议组件上报的路由生成的流表项及快速故障转移流表项;
所述指定业务的业务流量首先匹配所述基本流表,通过所述基本流表中的快速故障转移流表项跳转到所述快速故障转移组表进行组表项的匹配。
3.根据权利要求2所述的方法,其特征在于,所述通过快速故障转移组表将所述指定业务的业务流量转发到出口网关的方法为:
基于组表类型为快速故障转移类型的组表项的检测机制,检测所述虚拟交换机与SDN控制器之间的链路是否正常;
在链路故障的情况下,使所述快速故障转移组表中的第二组表项生效,发往所述指定业务的东西向报文匹配所述第二组表项进行转发;
所述第二组表项将所述东西向报文转发给所述出口网关;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时在所述出口网关上正常收敛到非故障的目的虚拟机。
4.根据权利要求3所述的方法,其特征在于,所述通过快速故障转移组表将所述指定业务的业务流量导向到边界网关路由流表进行匹配转发的方法为:
在检测到所述虚拟交换机与SDN控制器之间的链路正常时,使所述快速故障转移组表中的第一组表项生效,发往所述指定业务的东西向报文匹配所述第一组表项进行转发;所述第一组表项将所述东西向报文导向到边界网关路由流表进行匹配转发;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时,通过与SDN控制器的流表同步正常收敛到非故障的目的虚拟机。
5.根据权利要求4所述的方法,其特征在于,实现所述快速故障转移组表中第一组表项和第二组表项生效状态切换的方式为:
在检测到与SDN控制器之间的链路正常时,将所述第一组表项置为有效,将所述第二组表项置为无效;否则将所述第一组表项置为无效,将第二组表项置为有效;报文只匹配有效的组表项;或,
在检测到与SDN控制器之间的链路正常时,使第一组表项的优先级高于第二组表项;否则使第一组表项的优先级低于第二组表项;报文首先匹配优先级高的组表项;或,
在检测到与SDN控制器之间的链路正常时,将第一组表项的出口指向所述边界网关路由流表;否则将第一组表项的出口指向第二组表项。
6.一种SDN网络中多路径业务收敛装置,其特征在于,该装置应用于虚拟交换机,多个虚拟机负载分担指定业务的业务流量,SDN控制器在所述虚拟交换机上已下发所述指定业务的等价多路径路由生成的流表项,该装置包括:
第一导流模块,用于在与SDN控制器之间的链路故障时,通过快速故障转移组表将所述指定业务的业务流量转发到出口网关,由所述出口网关代为转发所述指定业务的业务流量;
第二导流模块,用于在与SDN控制器之间的链路正常时,通过快速故障转移组表将所述指定业务的业务流量导向到边界网关路由流表进行匹配转发,所述边界网关路由流表包含所有由边界网关协议组件上报的路由生成的流表项;
流表平滑模块,用于在所述虚拟交换机与SDN控制器之间的链路正常时,当负载分担所述指定业务的多个虚拟机中的一个或多个虚拟机故障时,与所述SDN控制器保持所述指定业务的等价多路径路由生成的流表项的同步更新。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
基本导流模块,用于在接收到所述指定业务的业务流量时首先匹配所述基本流表,通过所述基本流表中的快速故障转移流表项跳转到所述第一导流模块或第二导流模块执行;在所述基本流表中包括非边界网关协议组件上报的路由生成的流表项及快速故障转移流表项。
8.根据权利要求7所述的装置,其特征在于,所述第一导流模块包括:
检测单元,用于基于组表类型为快速故障转移类型的组表项的检测机制,检测与SDN控制器之间的链路是否正常;
第一切换单元,用于在链路故障的情况下,使所述快速故障转移组表中的第二组表项生效,发往所述指定业务的东西向报文匹配所述第二组表项进行转发;
第一转发单元,用于基于所述第二组表项将所述东西向报文转发给所述出口网关;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时在所述出口网关上正常收敛到非故障的目的虚拟机。
9.根据权利要求8所述的装置,其特征在于,所述第二导流模块包括:
第二切换单元,用于在检测到与SDN控制器之间的链路正常时,使所述快速故障转移组表中的第一组表项生效,发往所述指定业务的东西向报文匹配所述第一组表项进行转发;
第二转发单元,用于基于所述第一组表项将所述东西向报文导向到边界网关路由流表进行匹配转发;
所述指定业务的等价多路径路由在所述指定业务的一个或多个虚拟机故障时,通过与SDN控制器的流表同步正常收敛到非故障的目的虚拟机。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序当被处理器执行时实施如权利要求1至5中任一项所述的方法步骤。
CN202111148932.7A 2021-09-29 2021-09-29 Sdn网络中多路径业务收敛方法、装置及存储介质 Active CN113992569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111148932.7A CN113992569B (zh) 2021-09-29 2021-09-29 Sdn网络中多路径业务收敛方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111148932.7A CN113992569B (zh) 2021-09-29 2021-09-29 Sdn网络中多路径业务收敛方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113992569A true CN113992569A (zh) 2022-01-28
CN113992569B CN113992569B (zh) 2023-12-26

Family

ID=79737170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111148932.7A Active CN113992569B (zh) 2021-09-29 2021-09-29 Sdn网络中多路径业务收敛方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113992569B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640553A (zh) * 2022-02-14 2022-06-17 新华三技术有限公司 一种报文处理方法及装置
CN115333994A (zh) * 2022-08-01 2022-11-11 北京金山云网络技术有限公司 实现vpn路由快速收敛的方法、装置以及电子设备
CN115442297A (zh) * 2022-09-06 2022-12-06 中电云数智科技有限公司 一种基于bgp实现eip智能接入的系统和方法
CN115632985A (zh) * 2022-09-01 2023-01-20 鹏城实验室 一种基于p4的多路径负载均衡nat网关转发方法和系统
CN117041147A (zh) * 2023-10-08 2023-11-10 井芯微电子技术(天津)有限公司 智能网卡设备、主机设备和方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009105974A1 (zh) * 2008-02-27 2009-09-03 华为技术有限公司 Mpls vpn中实现快速重路由的方法及设备
CN105577723A (zh) * 2014-10-16 2016-05-11 杭州华三通信技术有限公司 虚拟化网络中实现负载分担的方法和装置
CN105897580A (zh) * 2016-03-29 2016-08-24 中国科学院信息工程研究所 一种协议无关转发网络快速故障检测与流量保护切换方法
CN109981450A (zh) * 2017-12-28 2019-07-05 中国电信股份有限公司 路径连通维护方法、装置和系统
CN110708245A (zh) * 2019-09-29 2020-01-17 华南理工大学 多控制器架构下的sdn数据平面故障监测与恢复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009105974A1 (zh) * 2008-02-27 2009-09-03 华为技术有限公司 Mpls vpn中实现快速重路由的方法及设备
CN105577723A (zh) * 2014-10-16 2016-05-11 杭州华三通信技术有限公司 虚拟化网络中实现负载分担的方法和装置
CN105897580A (zh) * 2016-03-29 2016-08-24 中国科学院信息工程研究所 一种协议无关转发网络快速故障检测与流量保护切换方法
CN109981450A (zh) * 2017-12-28 2019-07-05 中国电信股份有限公司 路径连通维护方法、装置和系统
CN110708245A (zh) * 2019-09-29 2020-01-17 华南理工大学 多控制器架构下的sdn数据平面故障监测与恢复方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640553A (zh) * 2022-02-14 2022-06-17 新华三技术有限公司 一种报文处理方法及装置
CN115333994A (zh) * 2022-08-01 2022-11-11 北京金山云网络技术有限公司 实现vpn路由快速收敛的方法、装置以及电子设备
CN115632985A (zh) * 2022-09-01 2023-01-20 鹏城实验室 一种基于p4的多路径负载均衡nat网关转发方法和系统
CN115632985B (zh) * 2022-09-01 2024-05-14 鹏城实验室 一种基于p4的多路径负载均衡nat网关转发方法和系统
CN115442297A (zh) * 2022-09-06 2022-12-06 中电云数智科技有限公司 一种基于bgp实现eip智能接入的系统和方法
CN115442297B (zh) * 2022-09-06 2023-08-22 中电云数智科技有限公司 一种基于bgp实现eip智能接入的系统和方法
CN117041147A (zh) * 2023-10-08 2023-11-10 井芯微电子技术(天津)有限公司 智能网卡设备、主机设备和方法及系统
CN117041147B (zh) * 2023-10-08 2024-02-23 井芯微电子技术(天津)有限公司 智能网卡设备、主机设备和方法及系统

Also Published As

Publication number Publication date
CN113992569B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
JP7417825B2 (ja) スライスベースルーティング
CN113992569B (zh) Sdn网络中多路径业务收敛方法、装置及存储介质
CN110166356B (zh) 发送报文的方法和网络设备
CN108306777B (zh) 基于sdn控制器的虚拟网关主备切换方法及装置
US10148554B2 (en) System and methods for load placement in data centers
CN111698158B (zh) 主设备选举方法、装置及机器可读存储介质
CN109728962B (zh) 一种发送报文的方法和设备
CN110061912B (zh) 仲裁虚拟节点的冗余控制平面之间的主控权
CN113315699B (zh) 一种区分优先级的多主多备快速重路由系统及方法
US12068955B2 (en) Method for controlling traffic forwarding, device, and system
EP4199461A1 (en) Methods and devices for forwarding messages and issuing forwarding instruction information and notification messages
CN102447639A (zh) 一种策略路由方法及装置
Wang et al. CFR: A cooperative link failure recovery scheme in software‐defined networks
US9197545B2 (en) Highly scalable modular system with high reliability and low latency
CN112751766B (zh) 报文转发方法和系统、相关设备和芯片
US7869351B2 (en) Communication techniques and generic layer 3 automatic switching protection
CN113316769B (zh) 网络功能虚拟化中使用基于规则反馈的事件优先级的方法
CN113992571B (zh) Sdn网络中多路径业务收敛方法、装置和存储介质
CN116137582A (zh) 基于cups bng的分组转发系统、方法和非暂态计算机可读存储介质
Semong et al. A review on software defined networking as a solution to link failures
CN113595915B (zh) 转发报文的方法及相关设备
CN111224812A (zh) 网络流量转发方法、装置、电子设备及机器可读存储介质
Tajedin et al. DTE: Dynamic traffic engineering in software defined data center networks
WO2023193755A1 (zh) 一种传输路径确定方法及装置
Dong et al. An Enhanced Data Plane for Network Event Processing in Software Defined Networking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant